BLOG

ChatGPTなどのAIやLLMの活用が広がる中、業務に取り入れてみたものの最新情報に対応できなかったり、社内の専門知識が反映されないといった壁にぶつかる企業は少なくありません。

「もっと自社の業務に合った回答を返してほしい」「社内資料や最新の情報をもとに回答してほしい」などの声に応える手段として注目を集めているのが、RAGとの組み合わせです。

社内文書や最新情報をAIが参照しながら回答を生成できるようになると、業務活用の幅は一気に広がります。

本記事では、LLMとRAGそれぞれの基本から、組み合わせることで得られるメリット、精度を引き出すためのデータ設計、導入時のリスクと解決策まで、順を追って解説します。

💡LLMを業務で活用したいものの、回答精度や社内情報の扱いに不安がある企業様へ
LLMを実務で活用するには、一般的な回答を生成するだけでなく、社内文書・業務マニュアル・最新のナレッジなどを安全に扱える環境づくりが重要です。
Athena Technologiesでは、企業の業務内容に合わせた生成AI環境の構築を支援しています。社内データを活用した回答精度の向上や、情報漏えいリスクに配慮したAI活用を検討している方は、ぜひお問い合わせください。
⇨Athena Technologiesへのお問い合わせはこちら

LLMとは？

LLMとRAGの組み合わせを正しく理解するために、まずはLLMとは何かから整理しておきましょう。LLMとは、インターネット上の膨大なテキストデータを学習し、人間のような自然な文章を生成・理解できるAIのことです。

ChatGPTやGemini、Claudeなどがその代表例です。

特別なプログラミング知識がなくても、チャット画面に質問を入力するだけで使い始められるため、急速に普及しており、主に

• 文章の生成・要約・翻訳
• 質問への回答やFAQ対応
• コードの生成・デバッグ
• 文書のチェックや校正

のような場面で活用されています。

大量の文章データから、この流れなら次にどんな言葉が来るかを学習し、文章を組み立てていく仕組みであり、膨大なデータを学習しているため専門的なテーマでも自然な言葉でわかりやすく回答できます。

また、LLMにはインターネット経由で使えるもののほかに、自社のサーバー内に環境を構築して使うローカルLLMもあります。

社外にデータを出したくなかったり、社内ネットワーク内での運用が求められるケースではとても有効であり、以下の記事で詳しく解説していますので、ぜひ見てみてください。

参考：ローカルLLMとは？クラウドLLMとの違いや規制産業における導入の着目ポイント

RAGとは？

RAGとは、AIが回答を生成する前に社内文書や外部の資料から関連情報を検索し、その情報をもとに回答を生成する技術です。

AIは学習済みの知識をもとに回答しますが、

• 学習後に起きた出来事
• 社内にしか存在しない情報

は学習できていません。

例えば社内業務のマニュアル、社内規定、最新の製品仕様などは一般的なAIには学習されていないため、そのまま質問しても的外れな回答が返ってくる可能性もあります。

そこで、社内文書や製品マニュアル、最新のFAQをデータとして用意しておけば、AIは質問のたびにそこから必要な情報を取り出し、根拠のある回答を生成することできます。

このようにRAGを構築すると、AIが元々学習していたWeb上にある一般的な知識だけを答えるのではなく、学習されていない社内データベースの情報をリアルタイムで参照しながら回答することができます。

RAGの仕組み

RAGは大きく「情報の検索」と「回答の生成」の2つのステップとなっています。

• ステップ1：情報の検索

質問が入力されると、まず社内文書やデータベース、Webページなどから関連する情報を探します。

キーワードの完全一致だけでなく、文章の意味の近さをもとに検索するため、言い回しが多少違っても関連情報を見つけられます。

• ステップ2：回答の生成

検索で取り出した情報をAIへの入力として一緒に渡し、その情報をもとに回答を生成させます。

根拠となる情報が与えられた状態で答えるため、思い込みや推測による誤った回答が生まれにくくなります。

社内知識や最新情報を覚えさせるのではなく、必要なタイミングで必要な情報を検索し回答を作っていきます。

LLM単体を業務で活用する課題

RAGが必要とされる背景には、LLMだけを業務に使おうとしたときに多くの課題が出てくることにあります。期待してLLMを導入したにもかかわらず、実際の現場では使いづらさを感じてしまう企業も多いです。

ここでは、代表的な2つの課題を見ていきましょう。

• 誤った回答を生成する「ハルシネーション」
• ファインチューニングによる限界

誤った回答を生成する「ハルシネーション」

AIの学習は一定の時点で区切られており、それ以降に起きた出来事や変更されたルールについては、AIは知ることができません。

問題は、知らないからといってわかりませんと答えてくれないことです。知識の不足を補うようにもっともらしいが実際には正しくない回答を生成してしまうことがあり、これを「ハルシネーション」と呼びます。

たとえば最新の法改正について質問すると、古い情報をもとに誤った内容を答えたり、社内で廃止されたルールをいまも有効なものとして説明したりすることがあります。

存在しない制度や手順を作り上げてしまうケースも珍しくなく、業務判断の根拠にこうした誤情報が紛れ込むと、重大なトラブルになりかねません。

ファインチューニングによる限界

ファインチューニングは、自社の専門知識や業務に特化した情報をAIに追加学習させ、より的確な回答ができるようカスタマイズする手法です。

特定のトーンや文体で回答させたり、業界固有の表現に慣れさせたりするには有効ですが、常に最新の正しい情報を答えさせるという目的には向きません。

• 新しい情報を覚えさせるには多大なコストと専門的な知識が必要
• 情報が更新されるたびに再度学習させる作業が発生する

などの課題があり、社内ルールや製品情報の変更に素早く対応することが難しいためです。

回答が正しいことと、情報が常に最新であることを同時に保つのがLLMを単体で使う限界であり、この課題を解決する現実的な手段が、次章で説明するRAGとの組み合わせです。

ファインチューニングだけで、社内ルールや製品情報の変更に対応し続けるのは簡単ではありません。業務で生成AIを活用する場合は、AIに何を学習させるかだけでなく、どの情報を参照させるか、入力・出力をどのように管理するかまで含めて設計することが重要です。

Athena Technologiesでは、企業向けにセキュアなAIサービスを提供しています。生成AIの業務活用にあたり、社内情報の扱いやAI利用の管理体制を整えたい方は、Athena Technologiesにお問い合わせください。

⇨Athena Technologiesへのお問い合わせはこちら

LLMにRAGを組み合わせることのメリット

LLMだけではハルシネーションや情報が古くなるといった課題がありましたが、RAGを組み合わせると、これらの課題を解消でき、業務においてさまざまなメリットがあります。

特に代表的な3つのメリットを紹介します。

• 回答品質を標準化できる
• ヒューマンエラーの減少が可能
• 技術承継を加速できる

回答品質を標準化できる

RAGを導入すると、AIは社内マニュアルやFAQ、業務ルールなどの共通資料を参照しながら回答を生成します。そのため、誰が質問しても同じ根拠にもとづいた回答を生成できる環境を作れます。

人が対応していると、担当者の知識量や経験によって説明の仕方にばらつきが出がちですが、RAGを活用することで解決が可能です。顧客からの問い合わせ対応や社内ヘルプデスクのような業務では、回答のレベルを一定にそろえることができるため、顧客満足度の向上へつながります。

また、新人スタッフがベテランと同じ水準で答えられるようになるため、社内教育という点でもメリットがあります。

ヒューマンエラーの減少が可能

一般的な業務ではマニュアルや手順を覚えて対応することが多いですが、人の記憶だけに頼っていると、うろ覚えや思い込みによって誤った対応をしてしまうことがあります。

RAGを活用すると、AIが常に最新の文書を参照しながら回答を作成するため、うろ覚えや思い込みによるミスをあらかじめ防ぐことができます。人の記憶に頼らず、正しい情報をもとに対応できる点が魅力です。

手順書が変わった場合も、RAGが見に行くデータを入れ替えるだけで、AIの回答が自動的に新しい内容に切り替わります。

これまでであれば必要だった

• 全スタッフへのお知らせメール
• 再研修などの手間

が不要になるため、情報の更新にかかる負担を減らすことができます。

変化の多い職場環境でも、常に正しい情報をチーム全体で使い続けられるのは、RAGならではのメリットといえます。

技術承継を加速できる

ベテラン社員が長年かけて積み上げたノウハウや、過去プロジェクトの知見は、組織にとって大切なデータです。

しかし、それらが文書として記録されていてもどのファイルに何が書いてあるかわからない、膨大な資料の中から必要な箇所が探せないという状況では、実際にはほとんど活用されないままになってしまいます。

RAGを導入すると、蓄積されたすべての文書をまとめて検索し、AIが質問に応じて必要な情報を選び出して回答できるようになり、

• ベテランの経験や勘に頼っていた業務を誰でも使える共通の知識として活用できる
• 新入社員がわからないことをAIに聞けば経験豊富なメンバーと近い水準の情報が得られる
• ベテランが退職してもその知識は組織の中に残り続ける

などのメリットがあります。転職や退職が増えている今、特定の人だけに知識が偏る状態を防ぎ、チームとして安定した仕事ができる体制を作ることができます。

LLMの質を最大化するRAGの構成とデータ設計

RAGの効果をより引き出すためには、RAGの構成とデータの設計が重要です。

データをただ貯めるだけではRAGの性能は発揮されず、どんなデータを、どんな形で用意するかという準備の質が、最終的な回答精度を左右します。

ここでは、RAGの精度を高めるための主要な3つの要素を解説します。

• データの収集と前処理
• チャンク分割
• 埋め込みモデルとベクトル検索

データの収集と前処理

参照するデータの品質は、そのまま回答品質につながります。重複する文書や古いバージョンの資料が混在していると、AIが矛盾した情報を引き出してしまい、誤った回答につながります。

たとえば、同じ手順書の旧版と新版が両方登録されていれば、AIはどちらを根拠にすべきかわからず、古い内容で回答してしまうことがあり、データを登録する前に、以下の整理・準備が必要です。

• 同じ内容の文書が複数ある場合は最新版以外を削除する
• 更新日が古い資料や廃止されたルールは削除または最新版に差し替える
• PDF、Word、Webページなど異なる形式のデータを検索できる形に変換する
• 会議の雑談メモや下書き文書など、回答の根拠として不適切な文書は除いておく

このようにデータを最適な形式で最新に保つ運用ルールと更新の仕組みを、導入時にあわせて整備しておくことが欠かせません。

チャンク分割

AIが一度に処理できるテキストの量には上限があるため、長い文書をちょうどよいサイズに切り分けるチャンク分割という工程が必要です。

例えば、100ページの業務マニュアルをそのままAIに渡しても、すべての内容を均等に参照できず、必要な箇所を適切に取り出せません。

質問に関連する部分だけをピンポイントで引き出せるよう、文書をあらかじめ小さな単位に分けておく必要があります。

ただし、分割の方法を誤ると文章が途中で切れてしまい、文脈がなくなってしまい意味の通らない内容になることもあるため、以下の表のように、文書の種類や用途に合わせた手法を選ぶ必要があります。

章立てが明確な業務マニュアルには構造ベース分割が向いており、

• 段落ごとに話題が変わる議事録
• 調査レポート

には意味まとまり分割が効果的です。

どの手法を選ぶかが、検索時の情報の取り出し精度に直接影響するため、データの準備と同様に、この工程への丁寧な設計が最終的な回答品質を左右します。

埋め込みモデルとベクトル検索

分割されたテキストは「埋め込みモデル」と呼ばれるAIによって、数百〜数千次元の数値データ（ベクトル）に変換されます。
質問が入力されると、その文章も同じように数値データへ変換され、登録済みの各チャンクとの「意味の近さ（距離）」を計算することで、関連する情報を素早く見つけ出せます。

質問の言い回しが多少違っても意味が近ければヒットするため、キーワードが一言一句一致しなくても関連情報にたどり着けるのが大きな特徴です。

ただし、

• 英語向けモデルはを日本語特有の表現やニュアンスが正しく処理されないことがある
• 「製品の型番」「人名」「固有名詞」をそのままの文字で探すのは苦手である

などのいくつかの弱点もあります。

たとえば「ABC-2024型の取扱説明書を見せて」という質問で型番を文字として検索できないと、正しい文書にたどり着きにくいです。

この弱点を補うのが、次章で解説する「ハイブリッド検索」です。

LLMの検索精度を劇的に向上する「検索手法」

データの準備が整ったら、次は検索精度をさらに高める工夫に目を向けてみましょう。基本的なRAGはシンプルな仕組みのため、小規模なデータであれば十分に機能します。

しかし、データ量が増えたり専門性の高い文書が増えたりすると、関係のない文書が混ざる、必要な文書がヒットしないといった問題が出てきます。

こうした課題に対応するのが手法を2つ紹介します。

• 意味検索とキーワード検索を組み合わせる「ハイブリッド検索」
• 検索結果をさらに精査する「リランキング」

意味検索とキーワード検索を組み合わせる「ハイブリッド検索」

前の章で説明したように、意味の近さで探す検索と従来のキーワード検索には、それぞれ得意・不得意があります。

ハイブリッド検索は、この2つを組み合わせることで

• 意味の理解
• 正確な文字の一致

を同時に実現します。

「在庫管理の方法を教えて」という質問なら意味検索が関連文書を幅広く拾い、「製品番号ABC-2024-Xの取扱説明書を見たい」という質問ならキーワード検索が型番の完全一致で文書を絞り込みます。

業務で扱う質問はさまざまで、どちらか一方では対応しきれない場面がかならず出てきます。

ハイブリッド検索を取り入れることで、質問の種類を問わず適切な情報を取り出せるようになり、RAG全体の精度が底上げされます。

検索結果をさらに精査する「リランキング」

ハイブリッド検索で関連しそうな文書を取り出せたとしても、上位に出た文書が最も有用とは限らないという課題が残ります。

検索はスピードを優先するため、簡易的な基準で順位をつけており、本当に役立つ情報が下位に埋もれることもあります。

そこで活用されるのが粗く拾った情報をもう一度丁寧に選び直す作業である「リランキング（再評価・並べ替え）」です。

リランキングは、

• 検索で絞り込んだ候補文書をより精度の高い基準で評価し直す
• 質問の意図に本当に合った文書を上位に並べ替える
• AIに渡す情報の関連性をさらに高める

などの特徴があります。

たとえば、最初の検索で20件が出た場合、リランキングで「本当に使えるもの」を上位5件に絞り込んでからAIに渡す、というイメージです。

一度の検索で終わらせず精査するひと手間を加えることで、このステップがRAGの精度を大きく引き上げます。

RAGを組み合わせたLLM導入の注意点と解決策

精度を追求することは大切ですが、RAGを実際に業務で運用するうえでは、リスク管理も同様に欠かせません。

設計を誤ると、利便性が上がる一方で新たな問題を引き起こしてしまうため、ここでは特に注意が必要な2つのポイントを解説します。

• 意図しない情報漏洩のリスク
• セキュリティ・ガバナンスを前提にLLM基盤を選ぶ

意図しない情報漏洩のリスク

RAGは社内文書を検索して回答を生成できる便利な仕組みですが、裏を返せばAIが社内のさまざまな文書にアクセスできる状態になるということでもあります。

そのため、設計を誤ると、本来見せてはいけない情報まで参照・回答してしまうリスクがあります。たとえば、以下のような情報が同じデータベースに混在している場合を考えてみましょう。

• 一般業務マニュアル（全社員が参照可能）
• 人事評価資料（人事部門のみ参照可能）
• 経営戦略文書（役員のみ参照可能）

誰がどの情報を見られるかが適切に設計されていないと、一般社員が採用や評価の基準を教えてと質問した際に、AIが人事評価資料を参照してその内容を回答してしまう可能性があります。

AIに悪意はなく、関連情報があれば参照して回答するという仕組みで動いているからこそ、権限外の情報へのアクセスが起きてしまいます。

生成AIで情報漏洩が起こる理由や具体的な事例については、下記の記事で詳しく解説していますのでぜひ確認してみてください。
参考：生成AIで情報漏洩が起こる理由とは？実際の3事例と企業が取るべき対策まとめ

セキュリティ・ガバナンスを前提にLLM基盤を選ぶ

RAGをAIと組み合わせて安全に運用するには、最初から安全性と組織としてのルール管理を考慮した基盤を選ぶことが大切です。

どれだけ精度の高いRAGを構築しても、基盤のセキュリティが不十分では意味がありません。

安心して使える基盤には、以下のような機能が求められます。

• 情報の参照制限：役職や部門に応じて参照できる文書の範囲を制限できること
• 入力・出力の管理：機密情報がAIに入力されることを制限し意図しない内容が回答に含まれないよう防止できること
• 利用履歴の記録：誰がいつ何を質問しどのような回答を得たかを記録・確認できること
• データの保管場所の管理：社内データがどの環境・サーバーに保管されているかを把握・管理できること

しかし、これらを自社で一から設計・構築するには、専門知識と相応のコスト・時間がかかります。セキュリティの専門家がいない企業や、早期に安全な環境を整えたい企業にとっては、こうした機能をあらかじめ備えたプラットフォームを選ぶほうが現実的です。

LLMを安全に運用する「AtenaPlatform」

RAG導入には情報漏洩への対策や適切なセキュリティ設計が必要ですが、これらを自社だけで一から整えるのは簡単ではありません。

AIとRAGの組み合わせには大きな可能性がある一方で、安全に運用するためのハードルも確かに存在します。

こうした課題を解消するために開発されたのが「Athena Platform」です。

安全性の高さと導入のしやすさを兼ね備えた設計で、業務でのAI活用を安心できるプラットフォーム上で進められます。

社内データを外部に出さずに安全に運用できる

Athena Platformは、オンプレミスや閉域網クラウドなどのプライベートネットワーク環境でLLMとRAGを活用できるため、社内データを外部に送信することなく安全に運用できます。

社内ドキュメントや業務データをRAGで参照しながら回答生成を行うことで、機密情報の外部流出リスクを抑えつつ、高精度な業務支援やナレッジ活用を実現します。

セキュリティ要件の厳しい企業でも安心して生成AIを導入できる点が特徴です。

止まりにくい安定した運用環境

Athena Platformは、複数のサーバーを並行して運用する構成により、負荷分散と高い可用性を実現しています。

通常時から処理を分散して稼働することで、特定のサーバーに負荷が集中するのを防ぎます。

万が一サーバー障害が発生した場合でも、別のサーバーへ処理を自動的に引き継ぎ、必要に応じて新たなサーバーを追加することでサービスを継続できます。

生成AIを業務で利用する環境でも停止リスクを抑え、止まることが許されない用途でも安安定した運用を維持できる点が大きな特徴です。

利用状況を記録・確認できるルール管理

誰がいつ何を質問し、AIがどう回答したかを記録・確認できる機能を備えています。

問題が起きたときの原因調査に役立つのはもちろん、社員がAIを定めたルールに沿って使えているかを組織として把握するためにも機能します。

AI活用のルールを定めている企業では、実際の運用がそのルールどおりに行われているかを継続的に確認できます。

利用履歴を一目で確認できるようになることで不適切な使い方を早期に発見でき、社内ルールの見直しにも役立ちます。

組織全体でAIを安全に使い続けるための管理の仕組みとして機能します。

RAGを活用したAI導入を安全に進めたい方、セキュリティと利便性を両立した環境を整えたい方は、ぜひAthena Platformをご覧ください。