LLMアプリケーション開発で応答精度が低い理由と成果を出す3つプロンプト設計とは

福岡ECサイト株式会社
代表 鳥井 敏史

この記事を書いた人

福岡ECサイト株式会社　代表　鳥井 敏史

ECサイト制作・AI検索対策の実務コンサルタント。15年以上にわたりECサイトの売上構造改善と集客設計を支援。売上改善・集客改善の実務支援を中心に企業のECサイト構造の再設計を行う。

専門分野

ECサイト制作 ECサイトリニューアル AI検索対策 SEO / コンテンツ設計

ECサイト改善の主な実績

・ECサイト制作歴15年以上 ・MakeShopアンバサダー ・JBEA EC業界SEO部門2025受賞 ・月商100万円 → 月商2,000万円 ・BtoB EC 月商100万円 → 月商1,000万円 ・支援企業：JR九州 / JAL / 名鉄 など

この記事の監修

福岡ECサイト株式会社　代表　鳥井 敏史

LLMアプリケーション開発で応答精度が低い理由

LLMアプリケーション開発を進める企業の多くが、同じ課題にぶつかります。

それは「思ったより精度が出ない」という問題です。

開発段階では精度が高かったのに、実際の運用を始めると回答がぶれたり、関係ない返答をしたり、ビジネス成果に結びつかないケースが目立ちます。 この問題、実は多くの開発チームが直面している共通課題なのです。

原因は単純です。

LLMの仕組みを理解せずに、プロンプトを試行錯誤しているだけだからです。

LLMアプリケーションの応答精度とは何か

LLMアプリケーションの応答精度とは、ユーザーの質問に対してビジネス目的に合った正確な回答を、一貫して生成する力です。

これは、モデルの能力・プロンプト設計・入力データの質によって決まります。

重要なのは「精度」が単一要素で決まるのではなく、3つの構造によって成立することです。

• モデル選択（どのLLMを使うか）
• プロンプト設計（どう指示するか）
• コンテキスト設計（何を入力するか）

多くの開発チームは「プロンプトさえ工夫すれば精度が上がる」と考えていますが、これは大きな誤解です。

しかし実際には、この3つが整って初めて精度が生まれるのです。

応答精度が低い3つの根本原因

1. 指示内容が曖昧に設計されている

プロンプトが曖昧だと、LLMは複数の解釈をしてしまいます。

例えば「顧客の質問に答えてください」という指示では、LLMは何を優先すべきかわかりません。どのトーンで答えるのか、どの情報源を使うのか、何文字以内に納めるのか。これらが指定されていなければ、毎回異なる品質の回答が生成されます。

福岡ECサイト株式会社が企業向けLLMアプリケーション開発を支援する際、最初に見直すのが「プロンプトの構造」です。曖昧さを取り除き、LLMが一貫した判断基準を持つ設計に変えるだけで、精度は劇的に改善します。

実際の改善例では、プロンプト再設計により回答の一貫性が68%向上した事例があります。

2. 入力データ（コンテキスト）の品質が低い

LLMは入力されたデータの質に左右されます。これを「ガベージイン・ガベージアウト」と呼びます。

企業が独自知識をLLMに学習させる際、古いデータ、重複データ、矛盾したデータを混ぜて入力することが多いです。すると、LLMは矛盾した指示に困り、結果として精度が下がります。

例えば商品情報が複数の情報源から来ている場合、価格が違ったり、説明が食い違ったりします。LLMはこの矛盾に対応できず、不正確な回答をしてしまうのです。

• データの鮮度が古い（3ヶ月以上更新されていない）
• 重複データが存在する（同じ情報が複数の形式で入力されている）
• データソースが複数で矛盾している
• 不完全な情報が含まれている（項目が抜けている）

応答精度を上げるには、入力するデータ自体を「設計」する必要があります。

3. モデルと用途のミスマッチがある

すべてのLLMが同じ性能を持っているわけではありません。

大規模言語モデル（GPT-4など）は汎用性が高い反面、特定の業務に特化していません。一方、調整されたモデルは特定分野で高精度ですが、他の分野では弱い場合があります。

企業のビジネス課題に合わせて「どのモデルを選ぶか」を判断しなければ、いくらプロンプトを工夫しても精度は限界に達します。

例えば医療相談チャットボットと営業提案支援では、必要な精度要件が異なります。医療なら正確性が99%以上必要ですが、営業提案なら80%の精度でも参考情報としては十分です。

この違いを無視して同じモデルを使用すると、過剰な精度を求めたり、不足した精度で我慢したりすることになります。

応答精度を決める3つのプロンプト設計

設計1：役割・制約・出力形式の三層構造

精度が高いプロンプトには共通の構造があります。それが「役割→制約→出力形式」という三層設計です。

まず、LLMに「あなたは誰か」を明確にします。これを役割設計と呼びます。

次に「何をしてはいけないか」という制約を入れます。制約があると、LLMは判断基準が明確になり、一貫した回答をするようになります。

最後に「どの形式で答えるか」を指定します。

具体例：

• 役割：「あなたはECサイト運営の専門家です。顧客サービス対応を担当しています」
• 制約：「返品に関する回答は、必ず利用規約に基づいてください。推測や一般論は答えないでください」
• 出力形式：「回答は3文以内、敬語で、判断理由を1文含めてください」

この三層を明確に指定するだけで、回答のぶれが大幅に減ります。

設計2：例示による条件付けを含める

LLMは「説明」より「例」から学びます。

プロンプトに「こういう質問にはこう答える」という例を2～3個含めると、LLMはそのパターンを模倣して回答するようになります。これを「Few-Shot Prompting」と呼びます。

例えば顧客サポートなら：

• 質問1：「返品したいです」→ 回答例：「返品期間は購入から30日以内です。手続きはこちらをご確認ください。」
• 質問2：「配送料はいくらですか」→ 回答例：「送料は一律1,500円です。ただし、定期購入は送料無料です。」

このように「入力→出力」の例を示すと、LLMはその品質レベルを理解し、同じクオリティで新しい質問に答えるようになります。

実装時には、最も重要なユースケース3～5個の例を用意することがポイントです。 ここ、手を抜きがちなポイントですが、最も効果の出る部分でもあります。

設計3：検索・参照・推論のロジック分離

複雑な質問に対して、LLMが一気に考えると精度が落ちます。

重要なのは「検索」「参照」「推論」を分離することです。

• 検索フェーズ：質問から必要な情報を特定する
• 参照フェーズ：その情報をデータベースから取り出す
• 推論フェーズ：取り出した情報に基づいて回答を生成する

例えば「2023年度のうちのECサイト売上と利益率は？」という質問に答える場合：

1. まず、LLMが「2023年度の売上」と「利益率」が必要と判断する
2. 次に、その情報を指定データベースから検索する
3. 最後に、検索結果を基に「売上が○○万円で利益率が△△%です」と答える

この分離により、各ステップで誤りを防ぎ、全体の精度を高められます。

この設計はRAG（Retrieval-Augmented Generation）と呼ばれる手法に近く、社内データを活用するLLMアプリケーションで特に有効です。

福岡ECサイト株式会社が支援したLLMアプリケーション開発の事例

事例：BtoB企業の提案生成AIで精度を72%から91%に改善

ある大手製造業の営業支援AIアプリケーションでは、提案資料の自動生成がうまくいっていませんでした。

問題点は2つありました。1つ目は、プロンプトが「良い提案を作成してください」という曖昧な指示になっていたこと。2つ目は、入力データとして営業資料、商品カタログ、過去提案がバラバラに混在していたことです。

福岡ECサイト株式会社が行った改善：

• プロンプトを「役割→制約→出力形式」の三層に再構築し、「営業トーンで、技術仕様は簡潔に、導入効果は具体数字で」と明確化
• 入力データを整理し、商品情報、提案テンプレート、過去成功事例に分離
• 検索フェーズで必要な顧客情報を抽出し、参照フェーズで関連事例を検索、推論フェーズで提案を生成するロジック設計

結果、提案の有用性スコアが72%から91%に向上し、営業が実際に使える提案資料が自動生成されるようになりました。

さらに、修正時間が1件あたり平均25分から8分に短縮され、月間で約180時間の営業時間が生まれました。

プロンプト設計の失敗パターン

失敗パターン1：制約なしに自由度を求める

「自然な回答をしてください」「ユーザーを満足させてください」という漠然とした指示では、LLMは毎回違う解釈をします。

制約がないと、LLMは最大限の創意工夫をしようとして、時には不正確な情報まで創作してしまいます。これを「ハルシネーション」と呼びます。

改善方法は「できることを制限する」ことです。「ユーザーの質問に対して、以下の情報源にあることだけを答えてください。推測は答えないでください」と指定すれば、LLMは安全な範囲内で回答するようになります。

失敗パターン2：複数ステップを1つのプロンプトで処理

「顧客の問い合わせを受け取り、最適な営業製品を提案し、見積もりを作成してください」という1つのプロンプトで複数の処理を求めると、どれもが中途半端な精度になります。

正しいアプローチは、各ステップを個別のプロンプトに分離し、前のステップの出力を次のステップの入力にすることです。

LLMアプリケーション応答精度の判断基準

自社のビジネス用途に必要な精度レベルを判断し、それに応じた設計を選ぶことが重要です。

例えば、ECサイトのカスタマーサービスなら中精度（76～85%）で十分ですが、医療相談AIなら高精度（86～95%）が必須です。

LLMアプリケーション開発と併行してビジネス構造も設計する重要性

多くの企業は「LLMアプリケーションを作る」という技術的課題にだけ集中します。しかし、実は「作ったAIをどうビジネスに組み込むか」の方が重要です。

プロンプト設計がどれだけ完璧でも、組織の使い方が整わなければ成果は生まれません。営業が使わない、カスタマーサービスが信頼しない、といった事態に陥ります。

福岡ECサイト株式会社では、LLMアプリケーション開発の際に「AI検索対策」と「組織導入設計」を並行して行います。これにより、技術的精度と実際のビジネス成果を両立させています。

ECサイトのサイトリニューアルと同じ考え方です。新しいシステムを入れるだけでなく、運用体制、ユーザー教育、継続的改善のプロセスまでを設計することが必須なのです。

LLMアプリケーション応答精度に関するよくある質問

Q1：GPT-4を使えば自動的に精度が上がるのではないか

A：いいえ。モデルの性能の良さと、実装時の精度は別問題です。

GPT-4は優れたモデルですが、曖昧なプロンプトや不正確なデータで実装されば、精度は低くなります。逆に、古いモデルでも、プロンプト設計とデータ準備がしっかりしていれば、十分な精度を出せるのが実情です。

重要なのは「どのモデルを選ぶか」ではなく「どう実装するか」です。

Q2：プロンプトの微調整で何度も試すのは良くないのか

A：プロンプト試行錯誤も必要ですが、闇雲に続けるべきではありません。

改善の優先順位は「データ整理→プロンプト構造設計→微調整」です。データが汚ければ、いくらプロンプトを工夫しても精度は限界です。

また、試行錯誤の前に「三層構造」「例示」「ロジック分離」という基本設計をしっかり入れることが先決です。

Q3：応答精度を測定するには何を見るべきか

A：精度測定には3つの観点が必要です。

1つ目は「正確性」で、回答が事実に基づいているかを確認します。2つ目は「関連性」で、質問に対して適切な回答か判断します。3つ目は「実用性」で、実際のビジネスに役立つ回答かを評価します。

例えば営業提案AIなら、営業が実際に使用して修正時間がどれだけ短縮されたかを測定することが、最も信頼できる精度指標になります。

Q4：プロンプトの最適化にはどのくらい時間がかかるのか

A：基本設計（三層構造）なら1～2週間、実装と検証を含めれば1～2ヶ月が目安です。

ただし、初期の基本設計がしっかりしていれば、その後の調整は短時間で済みます。逆に、曖昧な状態から試行錯誤を始めると、3ヶ月経っても完成しない場合があります。

重要なのは「正しいフレームワークを最初に作る」ことです。 この順序を間違えると、何ヶ月も迷走することになってしまいます。