BLOG

生成AIは、資料作成や問い合わせ対応、情報整理など、さまざまな業務で活用が進んでいます。

最近、中でも注目されているのがローカルLLMです。

クラウド型AIと異なり、インターネットに接続せず、自社環境内でAIを運用できる点が大きな特徴です。

一方で、「本当に安全に使えるのか」といった不安を感じる方も少なくありません。

本記事では、ローカルLLMの基礎やクラウドLLMとの違い、導入の背景やメリット・デメリットを整理し、規制産業での活用事例や導入時のポイントを解説します。

ローカルLLMの業務活用を考えるヒントとして、ぜひご覧ください。

💡ローカルLLMを安心して使いたい企業様へ
Athena Platformは、ローカルLLMを業務で安全に活用するための基盤です。 AIの使い方を適切にコントロールする機能や、利用状況・アクセス権限をまとめて管理でき、情報の流出や不正利用のリスクを抑えます。 セキュリティや運用面に不安を感じることなく、金融や医療などの分野で生成AIを活用したい方は、ぜひAthena Platformのサービス内容をご覧ください。
⇨Athena Platformについて詳しくはこちら

ローカルLLMとは？

ローカルLLMとは、会社のパソコンや社内サーバーなど、インターネットにつながずに使える大規模言語モデルのことです。

最近は文章作成や情報整理など、業務でAIを使う場面が増えていますが、大切な情報が外に出てしまわないか心配という声も多く聞かれます。

特に、社外にデータを送ることに不安を感じる方も少なくなく、個人情報や社内の重要なデータを扱う場合は、安心して使える仕組みが欠かせません。

ローカルLLMは、データを外部に送らず、自分たちの環境の中だけでAIを動かせるのが特徴です。そのため、情報漏えいのリスクを抑えながら、AIを業務に活用することができます。クラウドLLMと比べて、安全性や情報管理を重視したい場合に、ローカルLLMは注目されています。

クラウドLLMとの違い

クラウドLLMとは、インターネットを通じて外部のAIサービスを利用する仕組みです。

文章作成や要約などを手軽に行えるのが特徴で、特別な準備をしなくても高性能なAIを使えますが、入力した内容は一度インターネットを経由して外部のサーバーに送られるため、社内情報や個人情報を扱う場合は不安を感じることもあります。

一方、ローカルLLMは社内のパソコンやサーバー内だけでAIを動かします。

データが外部に出ないため、情報漏えいの心配を抑えられる点が大きなメリットであり、ルールが厳しい業界や大切なデータを扱う業務では安心して利用できます。

手軽さを重視するか、安全性を優先するかによって、クラウドLLMとローカルLLMを使い分けることが大切です。

ローカルLLMが多くの企業で注目を集める理由

ローカルLLMがインターネットにつながずに使えるAIであることを紹介してきました。

では、なぜ今、多くの企業がローカルLLMに関心を寄せているのでしょうか。

背景には、情報の取り扱いに対する意識の高まりや、技術の進歩によって導入しやすくなってきたことがあります。

ここでは、企業がローカルLLMに注目する代表的な理由を、具体的に見ていきます。

• サイバー攻撃の多様化
• AIモデルの小型化による変化

サイバー攻撃の多様化

最近は、サイバー攻撃の方法が複雑になり、企業の大事な情報を守ることがこれまで以上に重要になっています。

サイバー攻撃の件数は年々増加傾向にあり、令和6年度の警察庁のデータによると、サイバー犯罪の検挙件数の推移は、令和1年の9,519件から令和6年は13,164件となっています。

検挙された事案には、ランサムウェアやDDoS攻撃、フィッシングなどのサイバー攻撃だけでなく、それらを入口として発生する不正送金やSNS型投資詐欺、ロマンス詐欺といった金銭被害を伴う犯罪も含まれています。

しかし、インターネットにつながっている以上、すべての攻撃を完全に防ぐことは難しいのも現実です。 そのため、攻撃を見つけて対処するだけでなく、そもそも攻撃されにくい環境を作ることも大切だと考えられるようになっています。そこで注目されているのが、社内の環境だけでAIを動かすことができるローカルLLMです。

ローカルLLMはインターネットを使わずに利用できるため、社内のデータを外部に送る必要がなく、データを社内に保ったままAIを活用できるため、サイバー攻撃によって情報が外に漏れるリスクを減らすことができます。

参考：警察庁サイバー警察局「令和６年におけるサイバー空間をめぐる脅威の情勢等について」

AIモデルの小型化による変化

これまで、ローカルLLMを使うには、特別に性能の高いサーバーや大きな設備が必要でした。

そのため、費用がかかる、扱うのが難しいと感じる企業も多く、限られた人だけのものという印象がありました。しかし最近では、AIモデルが軽くなり、状況は大きく変わっています。

今では、一般的なパソコンでも、メモリを増やすことでローカルLLMを動かせるケースが増えてきました。

また、パソコンの性能が十分でない場合でも、必要なときだけクラウドの計算力を組み合わせることで、無理なく活用できます。

NVIDIAのDGX SparkのようなAI処理に特化した小型の専用マシンを活用すればローカルLLMを安定した環境でスムーズに動かすことができます。

株式会社Athena TechnologiesはDGX Sparkを活用した完全オンプレミスLLM構築支援を行なっていますので、導入をご検討中の方は、ぜひサービスサイトをご覧ください。

ローカルLLMを導入・活用するメリット

ローカルLLMがなぜ多くの企業から注目されているのか、その背景を見てきました。

ここからは、実際にローカルLLMを導入・活用することで、企業がどのようなメリットを得られるのかを整理します。

クラウドLLMと比べたときの違いや、業務現場での使いやすさに注目しながら、具体的なメリットを解説していきます。

• 特定業務に特化したモデルの構築が可能
• 自社でモデルの管理・制御が可能
• データセキュリティ・プライバシーの向上

特定業務に特化したモデルの構築が可能

ChatGPTやGeminiのようなクラウド型のAIは、さまざまな仕事に幅広く使えるように作られています。文章作成や要約、アイデア出しなど、多くの業務をバランスよくこなせるのが特徴です。

ただし、どの会社でも使えるように作られている分、自社だけの細かなルールや業務の流れにぴったり合わせるのは簡単ではありません。

そこで有効なのが、社内のマニュアルや過去の資料をAIに参照させる方法です。

自社の業務内容に合った回答ができるAIを作ることができます。

ただし、クラウド上で行う場合は、社内データを外部に送る必要があるため、情報の扱いに不安を感じるケースもあります。

ローカルLLMであれば、こうした仕組みを社内の環境だけで作ることができ、データを外に出さずに運用できるため、安心して自社業務に合ったAIを導入することが可能です。

自社でモデルの管理・制御が可能

クラウド型の生成AIは手軽に使える一方で、提供元の都合によって中身が変わることがあります。更新によって回答の内容が変わったり、今まで使えていた機能が使えなくなったりすることもあります。

実際に、OpenAIが提供していた「Codex」というコード生成AIは、途中で一度サービスを終了したため、それまでと同じ条件で使い続けることができず、以前と同じ結果をもう一度出すのが難しいという問題が起きました。

ローカルLLMであれば、AIモデルに加え、AIの回答に影響する部分まで含めて自社で管理できます。 具体的には、

• AIモデルのバージョン固定
• AIモデルの更新タイミング
• 追加学習させる内容
• 参照させる社内データ
• プロンプト詳細設計

などを自社で自由に決めることができます。そのため、どのようなプロンプトで、どのデータをもとに、どのモデルのAIが動いているのかを把握しながら、安定して使い続けることができます。

このようにローカルLLMは、AIを安全に保護し、安心して運用していくための考え方である「Security for AI」にも合った方法といえるでしょう。

Security for AIはこちら記事で解説していますので、詳しく知りたい方はぜひご覧ください。

参考記事：AIセキュリティとは？基本の対策や規制産業での生成AI活用ポイントを解説

データセキュリティ・プライバシーの向上

ローカルLLMの大きなメリットは、大切なデータを社内にとどめたまま活用できることです。

クラウド型の生成AIでは、入力した質問や参考データをインターネット経由で外部のサーバーに送る仕組みになっています。

そのため、社内情報や個人情報を扱う場合、情報が外に出てしまわないかと不安を感じる企業も少なくありません。

一方、ローカルLLMは社内のネットワーク内だけで動かすことができます。外部とやり取りしない、閉じた環境でAIを使えるため、情報漏えいのリスクを抑えやすくなります。

また、個人情報保護や業界ごとのルール、社内の管理基準にも対応しやすい点もメリットです。

監査や社内チェックの場面でも、データは社外に出ていないと説明できることは、大きな安心につながります。

情報管理が厳しく求められる企業にとって、ローカルLLMは安全性と使いやすさを両立できる選択肢といえるでしょう。

ローカルLLMを導入・活用するデメリット

ローカルLLMが持つ多くのメリットについて見てきましたが、ローカルLLMならではの課題も存在します。

ここでは、導入前に必ず理解しておきたい代表的なデメリットを整理し、現実的な判断材料として解説します。

• 認証・権限管理における内部不正のリスク
• 初期導入費用は高い
• 人材確保におけるリスク

認証・権限管理における内部不正のリスク

ローカルLLMは外部にデータを出さない点ではさまざまなリスクを減らすことができていますが、情報漏えいのリスクが完全にゼロになるわけではありません。

特に注意が必要なのが、社内での認証や権限管理です。

たとえば、IDやパスワードを使い回していたり、退職者のアカウントを削除していなかったり、全社員が同じフォルダにアクセスできる状態になっている場合、本来は関係のない社員が機密情報を見られてしまうことがあります。

また、悪意がなくても、機密資料を誤ってUSBに保存して持ち出してしまう、社外にメールで送ってしまうといったうっかりミスでも情報漏えいは起こる可能性があります。

規制産業では、こうした内部リスクも厳しく見られるため、ローカルLLM導入時には技術だけでなく運用ルールの整備が必要になります。

ローカルLLMだから全て安全と思い込まず、アクセス管理やログ監視まで含めた対策が必要になります。

初期導入費用は高い

クラウドLLMは、月額利用料や使った分だけ支払う料金形態で始められるため、初期費用を抑えやすいという特徴があります。

一方、ローカルLLMでは、AIの処理を安定して行うために、ある程度高性能なハードウェアを自社で用意する必要があります。

特に、文章生成などの処理をスムーズに行うには、十分な計算性能が求められます。

具体的には、GPUを搭載したサーバーや、それを支えるネットワーク環境、電源や設置スペースの確保なども検討しなければなりません。

こうした設備は一度にまとまった投資が必要になるため、導入時の負担はどうしても大きくなります。

GPUサーバーの選択肢の一つとして、NVIDIAのDGX Sparkがあります。

DGX Sparkはコンパクトで高い処理性能を備えており、ローカルLLMを安定して動かせる環境を効率よく整えることができます。

Athena社では、DGX Sparkを活用した完全オンプレミスLLMの構築支援を行っています。ハードウェア選定から環境構築、運用設計までサポートしていますので、導入をご検討の方はぜひサービスサイトをご覧ください。

人材確保におけるリスク

ローカルLLMを導入し、使い続けていくには、ある程度の専門知識が必要です。

AIを動かすだけでなく、安心して安定的に使い続けるための体制づくりも大切になります。

たとえば、AIの基本的な仕組みを理解することに加え、多くのデータを扱う方法や、サーバーやネットワークを安定して動かすための管理の知識も求められます。

しかし、IT人材の不足は年々深刻になっており、2030年までに約79万人減少すると言われており、必要なスキルを持つ人材を確保すること自体が難しくなっています。

特にローカルLLMでは、AIの知識だけでなく、自社のルールや仕事の流れを理解している人材が求められます。

こうした課題に対して、Athena PlatformではローカルLLMの導入支援から運用設計までサポートしており、専門知識に不安がある場合でも、簡単にローカルLLMを導入できます。

特に規制が厳しい業界では、設定の間違いや運用の不備が、ルール違反や会社の信頼を失うなど取り返しのつかないことにつながるおそれがあるため、安全な運用体制は大事になります。

参考：経済産業省「参考資料（ＩＴ人材育成の状況等について）」

規制産業がローカルLLMを導入する際に着目すべきポイント

ローカルLLMのデメリットとして、コストや人材、運用面の課題を整理しました。

では、それらを踏まえたうえで、規制産業がローカルLLMを導入する際には、どこに目を向けるべきなのでしょうか。

ここでは、安全に、無理なく、業務で使い続けられるかという視点から、特に重要となるポイントを解説します。

• 規制要件を満たせる計算基盤を自社で維持できるか
• 規制産業の業務要件に合わせてモデルを軽量化・制御できるか
• 規制産業でも運用しやすい構成を描けるか

規制要件を満たせる計算基盤を自社で維持できるか

規制が厳しい業界でローカルLLMを導入する大きな目的は、大切な情報を外に出さずにAIを活用することです。

顧客情報や社内の重要なデータを守りながら、業務の効率化につなげることが期待されています。

そのためには、AIを動かすための設備や環境を自社で用意し、安定して使い続けられることが前提になります。

特に、次のような点を事前に確認しておくことが大切です。

• 必要な性能のサーバーや機器を用意できるか
• 安定して動かせる環境を整えられるか
• 長期間にわたって運用を続けられるか

これらが十分に整っていない場合、AIを業務の中で安心して活用することが難しくなる可能性があります。

規制が厳しい業界では、システムを自社で適切に管理し、継続して利用できる体制が求められます。

そのため、導入前には、自社の体制や設備で無理なく運用できるかを確認し、長期的に安定して活用できる見通しを持つことが重要です。

規制産業の業務要件に合わせてモデルを軽量化・制御できるか

規制が厳しい業界では、業務の中で安全に、確実に使えることが重視されます。そのため、ローカルLLMを導入する際には、最初から業務要件に適した規模のモデル（小規模モデル）を選定することを前提に設計する必要があります。

必要以上に大きなモデルを使うのではなく、業務に必要な範囲に機能を絞り込むことがポイントです。

特に、以下のような対応が重要になります。

• 業務に必要な内容に合わせてモデルを調整する
• 自社の設備で安定して動かせる規模にする
• 回答の内容を業務に合わせて管理できるようにする

モデルを軽くすることで、必要な設備や処理能力を抑えやすくなり、コストや運用負担の面でも現実的な選択がしやすくなります。

また、動作が安定しやすくなるため、日常業務の中でも安心して使うことができ、処理が遅くなったり、途中で止まったりするリスクを減らすことにもつながります。

さらに、回答の内容を管理しやすくなり、想定外の発言や、必要以上の情報を出してしまうリスクを抑え、社内ルールや業界の基準にも対応しやすくなります。

規制産業でも運用しやすい構成を描けるか

現在のローカルLLMは、GPUを使うことを前提にした構成が一般的です。

AIの処理には高い計算力が必要なため、GPUを中心にした仕組みが多く採用されています。

一方で、最近ではAIの計算を効率よく行うための専用チップであるNPUを搭載したAI PCも登場しています。

CPU・GPU・NPUが役割を分担しながら処理を行う方法が広がりつつあり、高性能なGPUに頼らなくても、AIを動かせるようになってきました。

このような構成には、次のメリットがあります。

• 高価なGPUを多く用意しなくても運用できる
• 電力の使用量や発熱を抑えやすい
• 複数の拠点でも導入しやすくなる

GPUをたくさん追加しなくてもよいため、設備にかかる費用や電力の使用量や発熱も抑えやすくなり、本社だけでなく、複数の拠点に分かれた環境でも導入しやすくなります。

規制が厳しい業界では、性能の高さに加えて長く安定して使い続けられることが大切です。

将来的な広がりや日々の運用の負担も考えながら構成を考えられるかどうかが、ローカルLLM導入を成功させる重要なポイントになります。

規制産業におけるローカルLLM導入の活用事例

規制産業がローカルLLMを導入する際に着目すべきポイントを見てきました。

ここでは、実際に現場でローカルLLMがどのように活用されているか、具体的な事例を紹介します。

金融や医療といった機密情報を扱う業界で、どのように導入されているのか見ていきましょう。

• 金融｜常陽銀行
• 金融｜あおぞら銀行
• 医療｜織田病院

金融｜常陽銀行

弊社Athena Technologiesが支援する常陽銀行では、銀行の仕事を効率よく進めるためのローカルLLMの実証実験を始めています。この背景には、報告書や申請書の作成過去の案件との比較など手作業に頼る仕事が多く、時間や手間がかかることが課題になっているためです。

インターネットに接続しない環境でAIを動かすことで、顧客情報や社内データを外に出さずに活用できる仕組みを整えています。

今回の取り組みでは、社内データを用いて複数のAIエージェントが作業をサポートすることで、業務のスピード向上とミスの減少を目指しています。

実証実験では、

• 資料から必要な情報をまとめて文章を作る機能
• 似た案件を探して比較する機能
• 専門的な文書の翻訳
• 個人情報を自動で隠す仕組み

などを検証します。

また、融資の判断に役立つ資料を自動で作ることで、より多くの視点から検討できるようにすることも目指しています。

参考：JOYO BANK NEWS LETTER「ローカル LLM を活用した銀行業務効率化の実証実験を開始 」

金融｜あおぞら銀行

あおぞら銀行は、金融業務に特化したローカルLLM「あおぞらLLM（仮称）」の開発を進めています。

この取り組みは、銀行として求められる高い安全基準を守りながら、社内の仕事に生成AIを活用していくものです。

あおぞらLLMは、社内の環境で運用するローカルLLMとして整備が進められています。社内の資料やデータを活用し、金融業務に合った回答ができる仕組みを目標としています。

情報を外部に出さずに使える点が大きな特徴です。

社内で行った検証では、これまでのモデルと比べて回答の正確さが向上したという結果も報告されています。

金融業務に関する専門的な質問にも、より適切に答えられることが期待されています。

このように、あおぞら銀行はローカルLLMを活用し、安全性を保ちながら業務の効率化を進めています。

参考：株式会社neoAI「あおぞら銀行 x neoAI オンプレミス型次世代AI基盤構築に向けて、 金融・行内特化LLMを開発」

医療｜織田病院

織田病院では、外部ネットワークに接続しないオンプレミス型のローカルLLMを臨床現場に導入しました。

これは、患者の個人情報を扱う医療現場でも安心して生成AIを活用できる環境を整えるための取り組みです。

導入されたのは、インターネット接続を必要としないセキュアなLLMであり、LLMを電子カルテシステムと連携させ、院内の業務支援に活用しています。

まずは、入退院時看護サマリーの作成支援から取り組みが始まり、電子カルテのデータをもとに要約文を自動生成し、医師や看護師の文書作成の負担軽減を目指しています。

オンプレミスで運用することで、患者情報を外部に送る必要がなく、不正アクセスのリスクも抑えられます。

今後は、電子カルテ入力の支援や紹介状作成支援などへ活用を広げ、医療従事者が本来の業務により集中できる環境づくりを進めていくとのことです。

参考：社会医療法人 祐愛会織田病院「【国内初】オンプレミスの生成AIを電子カルテシステムに搭載！」

ローカルLLMの安全な運用を支える「Athena Platform」

ここまで見てきたように、規制が厳しい業界でローカルLLMを導入する場合は、社内で動かしているから安心というだけでは十分ではありません。

大切なのは、情報を守りながら、日々の業務の中で無理なく使い続けられる仕組みを整えることです。

こうした課題に対応するための基盤が、Athena Platformです。

Athena Platformは、ローカルLLMを安心して業務に取り入れるためのサービスです。

社内に構築したLLMに対して、入力や出力の内容を確認したり、利用状況を記録したりすることで、安全に使える環境を支えます。

プライベートネットワークでの活用を実現

Athena Platformは、オンプレミスや閉域網などのプライベートネットワーク環境での利用に対応しています。

オープンなクラウド環境だけでなく、外部ネットワークと切り離された環境でも生成AIを活用できるため、機密データを外部に出さずに運用できます。

金融や医療のように、情報の持ち出しが大きなリスクとなる業界では、閉じた環境で使えるという点が大きな安心材料になります。

ローカルLLMの強みを活かしながら、安全性をさらに高めることができます。

障害発生時でも安定して動かせる仕組み

ローカルLLMは業務に組み込まれるからこそ、止まらないことが重要です。

Athena Platformは、複数のサーバーを並行して運用する構成に対応しており、万が一トラブルが発生した場合でも別のサーバーで処理を継続できます。

必要に応じてサーバーを追加することで、安定した稼働を保ちます。

規制産業では、たとえ短時間の停止であっても、業務が滞ったり、報告や記録が期限内に行えなくなり、場合によっては、監査対応や法令への対応に影響が出ることもあります。

だからこそ、いつでも使える状態を前提に設計することが、業務上のリスクを抑えるうえで大切になります。

AIの判断根拠や利用履歴を確認できるガバナンス機能

ローカルLLMを安全に使ううえで欠かせないのが、あとから確認できることです。

Athena Platformでは、生成AIの利用履歴をいつでも確認できます。

誰が、いつ、どのような入力を行い、どのような出力が生成されたのかを把握できるため、万が一問題が起きた場合でも原因を追いやすくなります。

また、AIがどの情報をもとにどのように判断したのかを確認できるため、特定の人や条件だけが不利になっていないか、判断にかたよりがないかを確認しやすくなります。

監査や社内で内容を確認する場面でも、なぜその結果になったのかを説明しやすくなります。

ローカルLLMは、導入して終わりではなく、長く安定して使い続けられるかどうかが重要です。Athena Platformは、安全性と使いやすさを両立しながら、規制産業でも安心してローカルLLMを活用できる環境づくりを支えます。

ローカルLLMの導入や運用をご検討の方は、Athena Platformの導入をご検討ください。

⇨Athena Platformについての詳細はこちら