そもそも、RAG（検索拡張生成）って何？

RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）に、外部の知識を参照させて回答を生成する手法です。LLMの文脈とは別に、社内ドキュメントやマニュアルなどを検索し、その内容を回答の根拠に組み込むことで、回答の信頼性と精度を高めます。

なぜ、RAGを構築する必要があるの？

汎用的な生成AIは、企業固有のルールや最新情報をデフォルトでは知りません。社内限定の知識は、一般の学習データに含まれないため、モデル単独では正答できないことがあります。そのため、AIに社内文書やFAQを参照させることで、生成された回答の信頼性が向上します。

RAGの構築ってどうやるの？

1. 評価用Q&Aデータを作成
   実際に想定される業務質問と正答例を数十件用意し、AIが正しく回答できるかを試験します。
2. データ前処理
   社内文書などのデータ全文を「チャンク」と呼ばれる小単位に分割します。これらのチャンクをベクトル化して検索インデックスに格納し、ユーザーの質問に応じて類似度検索を行うパイプラインを構築します。
3. 回答結果の分析
   テスト質問を投げて、回答の正答率や参照元の適切さを確認し、不正解の原因を追究します。
4. 調整作業
   必要に応じてチャンクサイズ調整ハイブリッド検索（意味検索＋キーワード検索）への切り替え、プロンプト修正、あるいはモデルの見直しなどで精度向上を図ります。

このように、データ準備→パイプライン実装→評価→改善というサイクルを繰り返します。

なぜ、データ整備が必要なの？

RAGで参照する社内データの品質は、AI回答の精度を大きく左右します。ファイルサーバーに、大量の非構造化データや古いバージョンが混在していると、AIが誤った情報を「正解」として参照し、ハルシネーションを生み出してしまいます。

※非構造化データ：PDF、Word、Excel、画像、表・図・フローチャートなど。

そのため、RAG導入の前提として、社内資料を整理し、不要データの削除や、最新ファイルの選定、アクセス権の整理などを行い、AIが迷わないようにしておきます。

データ整備が不十分だと、AIの出力はブレやすく、リスクも増大するため、まずはデータの整理・構造化が優先されます。

データ整備って何をするの？

1. ノイズ除去と重複排除
   同じ内容のファイルや、古い改訂版を削除またはアーカイブし、最新で信頼できる情報だけを残します。
2. 企業名・製品名・日付の表記揺れを統一
   業界／専門／社内用語、敬語／略語／型番など。また、文字コードを統一することで、機械処理しやすくします。PDFやWord文書内のヘッダー・フッター、ページ番号などの不要要素は自動で削除し、本文だけを取り出します。
3. セマンティックチャンク分割
   文書を意味的なまとまり単位（チャンク）に分割します。また、チャンク間で、内容を重ね合わせるオーバーラップを設定して、文脈の連続性を保ちます。
4. メタデータを付与
   各文書やチャンクにファイル名、作成日、関連部署、カテゴリなどを付与し、検索・フィルタリングしやすい構造にします。

これらの作業により、AIが「参照すべき情報」を効率的に抽出できるようになります。