社内の資料をAIに入れても答えがずれる理由｜資料を置くだけの使い方と、探し方を作るRAGの違い

結論から言うと、社内の資料を入れたAIの答えがずれるのは、資料を置いただけで、探し方を業務に合わせて作っていないからです。建設コンサルタントの資料は、表が多い、スキャンや図面のPDFが混ざる、基準の旧版と新版が並ぶ、という点で特にずれやすく、どのページから答えたかが出ないと技術者は確かめられません。資料の下ごしらえと検索の仕組み（RAG）を作ると、答えに出典が付き、確かめながら使えるようになります。

GeminiのGems、ChatGPTのプロジェクトやGPTs、Microsoft 365 Copilotのエージェントに、基準書や過去の報告書を入れて「社内用のAI」を作ってみた。最初は便利だったのに、数字が合わない、古い基準で答える、と言われて使われなくなった。この記事は、そんな建設コンサルタントのDX担当者や、社内でAIの使い方を広めている技術者の方に向けたものです。会話式のAIとAIエージェントの違いは会話式のAIとAIエージェントの違いで扱っています。

資料を入れたAIで起きるずれは、だいたい次の4つです。どれも、資料そのものは入っているのに起きるのが特徴です。

資料を置くだけの使い方では、AIは入っている資料のうち読める所だけを読んで答えます。表の形が崩れたり、スキャンが文字として読めなかったり、旧版と新版が同じ重みで混ざったりしても、AIはそれを知らないまま答えます。

RAG（検索拡張生成）は、質問に近い部分を資料から探し出し、その部分を読ませて答えさせる仕組みです。大事なのは検索そのものより、その前の下ごしらえです。表を表のまま文字にし、スキャンや図面を文字にし、旧版を外して版を付け、章・節・表ごとに分けて資料名とページを付けておく。ここまでやって初めて、答えに出典が付き、技術者がその場で確かめられるようになります。

実は、各社のサービスの中にも検索の仕組みはすでに入っています。たとえばMicrosoftは、Copilotのエージェントについて、指定したファイルが20を超えると関係のありそうな上位20ファイルだけを全文検索すると説明しています。Claudeのプロジェクトも、資料が多くなると関係する部分を検索して読む方式に自動で切り替わります。それでもずれるのは、検索の前の下ごしらえが、建設コンサルタントの資料に合わせて作られていないからです。

このうち出典は特に大事です。設計の根拠は、照査で「どの基準の何ページか」を問われます。出典が出ないAIの答えは、そのまま成果物に使えません。

各サービスの「指示と資料を入れておく機能」は、2026年の秋に名前や仕組みが大きく変わっています。GemsとGPTsはどちらも、それぞれ「スキル」「プラグイン」への置き換えが公式に決まりました。名前は変わっても、資料を置くだけではずれる理由は同じです。

すべてをRAGにする必要はありません。目安は、資料の量と種類、答えに数字や根拠が要るかどうかの2つです。資料が数本で文章が中心なら、置くだけで十分に役立ちます。資料が数十本を超え、表や図面、版の違いがあり、答えに数字の根拠が要るなら、RAGを作る価値があります。

RAGを作る前でも、入れる資料を整えるだけで、ずれはかなり減ります。いま使っているGemsやプロジェクトのまま、次のことを試してください。

最後の置き場所と権限は、技術の話より先に決めておくと後で困りません。使っている生成AIの選び方は、生成AIの選び方で比べています。

この記事の監修

小林 由快株式会社サファリテック 代表取締役

北海道大学工学部卒。建設コンサルタントの株式会社日水コンで、土木設計と工事監理に従事。リクルートからの業務委託で新規事業開発も経験。現在はサファリテックの代表取締役として、建設・土木向けAIプロダクトの開発を率いている。