BLOG

「DifyでローカルLLMは利用できる？」「DifyでローカルLLMを使用するメリットは？」という方も多いでしょう。近年は生成AIの業務活用が進む一方で、機密情報の取り扱いや外部APIへのデータ送信に不安を感じる企業も増えています。

そのため、クラウド型LLMだけでなく、自社環境で安全に運用できるローカルLLMへの関心が高まっています。

そこで本記事では、

• DifyでローカルLLMを利用するための具体的な4つの手順
• 導入時に懸念されやすいセキュリティリスク
• その解決策まで分かりやすく

を詳しく解説します。ローカルLLMの導入を検討している方は、ぜひ参考にしてください。

なお、ローカルLLMの導入を検討する際は、GPU環境の準備や推論基盤の構築、セキュリティ設計まで含めて考えることが重要です。
上記を全て満たせる導入支援をしているのが「Athena Technologies」です。Athena Technologiesでは、NVIDIA社製のDGX Sparkを利用してローカル環境を構築します。
ローカルLLMの実行基盤からDifyの活用までを一体で整えられるため、社内データを扱うAI環境を安全かつ実務レベルで構築しやすくなります。まずは以下のリンクからお気軽にお問い合わせください。
⇨Athena Technologiesへのお問い合わせはこちら

Difyとは？

Difyとは、生成AIを使ったアプリを簡単に作り、そのまま運用までできるノーコード・ローコードツールです。

出典：Dify

通常、AIアプリを作るには、モデル接続・データ管理・ログ監視などを別々のツールで用意する必要がありますが、Difyではそれらを1つの画面でまとめて扱えます。

例えば、

• AIの処理手順を組み立てる
• 社内資料などをAIに読ませて回答精度を上げる
• 複数のAIモデルを切り替えて使う
• AIの回答や利用状況を確認する

といった機能をDifyではまとめて使えるため、試作だけで終わらず、そのまま実務運用まで持っていきやすい設計になっています。また、Difyはクラウドサービスとして使うだけでなく、自社サーバー上にインストールして動かすことも可能です。

以下の記事でローカルLLMについて詳しく解説していますので、本記事と合わせてご覧ください。

参考記事：ローカルLLMとは？クラウドLLMとの違いや規制産業における導入の着目ポイント

DifyでローカルLLMを運用できるのか

結論から言うと、DifyそのものがローカルLLMを動かしているわけではありません。DifyはAIモデルを実行するツールではなく、LLMを活用したアプリケーションやワークフローを構築・運用するためのプラットフォームです。

実際にAIの計算を行うのは、Ollamaのようなローカル推論サーバーです。つまり、Difyは司令塔、Ollamaはエンジンのような関係になります。以下は全体的なフローです。

図の上段は、ユーザーの質問がAIに届くまでのメインの流れです。ユーザーがチャットやフォームに入力すると、その内容はDifyに送られ、Difyがモデルプロバイダーを通じてOllamaサーバへリクエストを投げます。そしてローカルLLMが回答を生成し、結果がDify経由でユーザーに返されます。

一方、下段はRAGを使う場合の補助ルートです。Difyはナレッジベースを検索し、Embeddingモデルで文章を処理してから、その情報をLLMに渡します。これにより、社内資料や独自データを使った回答が可能になります。

DifyでローカルLLMを利用する4つの手順

DifyでローカルLLMを利用するには、主に4つの手順で環境を構築します。

1. Difyをローカルで起動する環境を構築する
2. Ollamaをインストールする
3. DifyにOllama（ローカルLLM）を登録する
4. アプリでローカルLLMを使用する

1.Difyをローカルで起動する環境を構築する

まず最初に、Difyをローカル環境で起動できる状態を構築します。DifyはAIアプリケーションを構築するためのプラットフォームですが、AIモデルそのものを実行する仕組みではありません。

そのため、Difyはアプリケーションの管理やプロンプト設計、ワークフロー構築などを担う基盤として動作します。一般的にはDockerを使用してDifyを起動する方法がおすすめです。

Dockerを利用すると、必要なコンポーネントをまとめて環境構築できるため、複雑な設定を手動で行う必要がありません。

ローカル環境にDifyを立ち上げることで、外部クラウドに依存せず、社内ネットワーク内でAIアプリケーションを開発・運用できる基盤が構築できます。

2.Ollamaをインストールする

次に、ローカルでLLMを実行するための推論サーバーとしてOllamaをインストールします。 Ollamaは、PCやサーバー上で大規模言語モデルを簡単に実行できるツールで、ローカルLLM環境を構築する際によく利用されます。

Ollamaを導入すると、Llama・Mistral・Gemmaなどのモデルをコマンド操作でダウンロードし、そのままローカル環境で推論できるようになります。

3.DifyにOllama（ローカルLLM）を登録する

Ollamaの準備ができたら、次にDify側でOllamaをモデルプロバイダーとして登録します。

Difyは外部のモデルと連携できる設計になっており、Ollamaを接続することで、Difyからローカル環境で動かしているLLMを利用できるようになります。

この設定を行うことで、DifyはOllamaのAPIを通じてローカルLLMにリクエストを送信し、チャットアプリやワークフローの中で回答生成を行えるようになります。

4.アプリでローカルLLMを使用する

最後に、DifyでAIアプリケーションを作成し、ローカルLLMを利用できる状態に設定します。Difyでは、チャットボット・FAQボット・業務支援ツールなど、さまざまなAIアプリケーションを作成できます。

アプリ作成時に使用するモデルとして、先ほど登録したOllamaのローカルLLMを選択。設定が完了すると、ユーザーが入力した質問はDifyからOllamaに送信され、ローカル環境でAIが推論処理を行い、回答が返されます。

この仕組みによって、企業は社内データを活用したRAGチャットボットや業務支援AIを、外部APIに依存せずに構築可能です。

Difyで使用できるローカルLLM一覧

Difyで「ローカルLLM」として扱えるものは、実際にはモデルそのものではなく、ローカルで推論を実行するランタイムをモデルプロバイダとして接続する形になります。

つまり、Difyはローカルに置いたLLMを直接読み込むのではなく、ローカルに立てた推論サーバのAPIへリクエストを送り、その応答をLLMとして扱う設計です。

以下に、ローカル実行に使える代表的プロバイダを整理します。

この中での使い分けは、運用規模とインフラ設計によって決まります。例えば、まず手元PCでLlama系モデルを試したい場合はOllamaが最も簡単で、モデル取得からDify接続までが短時間で完了します。

実務的な選び方としては個人検証ならOllama、小規模オンプレならLocalAIやOpenAI互換サーバ、本番志向ならXinferenceやvLLMクラスタにEmbeddingローカル化を組み合わせる流れが最も自然です。

DifyでローカルLLMを使用するメリット

DifyでローカルLLMを使用するメリットについて2点解説します。

• RAG機能を標準搭載
• カスタマイズが自由に可能

RAG機能を標準搭載

Difyの特徴は、ナレッジベース機能が最初から用意されており、RAGを比較的短い手順で構築できる点です。通常は、

• 文書取り込み
• チャンク分割
• Embedding生成
• ベクトルDB構築
• 検索処理

などといった工程を個別に設計する必要がありますが、Difyでは一連の機能として整理されています。社内文書やPDFなどをアップロードし、分割ルールや検索方式を設定するだけで、質問時に関連情報を検索し、その内容をLLMへ渡して回答を生成する仕組みが構築可能。

検索方式もEmbeddingを使う高精度型、キーワード中心の軽量型、Q&A形式などから選べるため、精度とコストのバランスを調整しやすいのも特徴です。特にローカルLLM構成ではEmbeddingモデルもローカル化できるため、社内データを外部APIに送らずにAI検索を実現できます。

結果として、単なるチャットツールではなく、社内ドキュメント検索や業務支援ボットを短期間で実装できる点が実務上のメリットになります。

カスタマイズが自由に可能

DifyはOSSとして設計され、プラグイン構造を採用しているため、機能拡張や外部システム連携を柔軟に行える点が強みです。クラウドAIサービスは機能が固定されがちですが、Difyはプラグインを通じて、

• 外部API
• 社内データベース
• 業務ツール
• 独自ワークフロー

などを組み込むことができます。また、プラグインの実行管理を担う仕組みも公開されており、ローカル環境での検証から本番サーバー運用まで段階的に移行しやすい構造になっています。

さらにOSSであるため、UI変更や認証方式の追加、データ管理の改修など、アプリ基盤そのものを自社要件に合わせて調整することも可能です。

DifyでローカルLLMを使用するリスク

DifyでローカルLLMを利用する場合、メリットだけではありません。ここでは3つのリスクについて解説します。

• GPUやストレージは用意する必要がある
• セキュリティリスクは0ではない
• 構築・連携のリソースがかかる

GPUやストレージは用意する必要がある

ローカルLLMは自分の環境でAIを動かす仕組みなので、その分だけ計算資源も自分で用意する必要があります。ここで注意したいのは、Difyが動く環境とLLMが動く環境は別物だという点です。

Dify本体はそこまで重くありませんが、LLMはモデルのサイズに応じて大量のメモリやストレージを消費します。小さなモデルなら数GBで済みますが、大きなモデルになると数十GB単位の容量が必要になり、複数人が同時に使うとGPUメモリも増えていきます。

そのため、ローカルで試すこと自体は簡単でも、実務で使える性能を出そうとするとサーバーやGPUの準備が必要です。現実的に小さめのモデルから始めて、利用人数や用途に合わせて段階的にインフラを増やしていくのが失敗しにくい進め方です。

セキュリティリスクは0ではない

ローカルLLMはクラウドにデータを送らないため安全と思われがちですが、実際にセキュリティリスクは0ではありません。

例えば、ローカル推論サーバーはネットワーク越しにアクセスできる仕組みなので、公開設定を誤ると社外からアクセスされる可能性も。また、RAGを使って文書検索をする場合、悪意のある文章が混ざると、その内容をAIがそのまま信じて回答してしまうハルシネーションを引き起こす可能性もあるでしょう。

つまり、ローカル運用は完全に安全になるわけではなく、守る範囲が自社側に移るだけです。ネットワーク制限、認証、ログ管理などをきちんと設計して初めて安全に運用できます。

構築・連携のリソースがかかる

ローカルLLM構成は、一度動けば終わりではなく、その後の運用に手間がかかる点が特徴です。最初はDifyと推論サーバをつなぐだけで動きますが、本格的に使うようになると、

• データ保存
• バックアップ
• 監視
• 更新対応

など、通常の業務システムと同じような管理が必要になります。またDifyは拡張性が高い分、プラグインやモデル接続が増えるほど構成が複雑になり、トラブル時の原因特定にも時間がかかります。

そのため、小規模な検証から始めて徐々に運用体制を整えるか、最初から本番運用を想定してインフラとガバナンスを設計するかのどちらかになります。

単に「ローカルでAIを動かす」というだけでなく、「社内システムとして維持する体制」を作る必要がある点が、構成の一番の負荷になるでしょう。

ローカルLLMを安全に運用・構築するならAthena Technologiesの「DGX Spark導入支援」

ここまでDifyでローカルLLMを動かす方法について解説しましたが、構築・運用には知識やノウハウが必要です。また、必ずしもセキュリティリスクが0ではなく、安全に運用できるというわけではありません。

そこでAthena TechnologiesのDGX Spark導入支援サービスを活用してみてはいかがでしょうか。Athena Technologiesでは、オンプレミスで動作するローカルLLM環境の構築・導入・運用を支援するサービスを提供。NVIDIAの製品であるDGX Sparkを基本構成として活用しつつ、

• 利用目的に応じたローカルLLMの提案
• DifyやOpen WebUIなど必要ソフトウェアのインストール
• 設定・動作検証

まで実施した状態で納品が可能です。ここでは2つの特徴について詳しく解説します。

Difyを動かす前提となる「ローカルLLM基盤」をまとめて用意しやすい

Difyは前提として「推論を実行するローカル環境」が必要です。この記事でも解説した通り、Difyはユーザーの入力を受けてモデルにリクエストを渡す役割であり、実際にLLMを動かすのはOllamaなどの推論基盤です。つまり、Difyを導入するだけではローカルLLM環境は完成せず、GPUサーバーやLLMランタイム、周辺ソフトウェアまで含めて整える必要があります。

Athena TechnologiesのローカルLLM導入支援では、前提となる基盤づくりをまとめて進めやすい点が特徴。例えば、NVIDIAの製品であるDGX SparkをローカルLLM基盤の選択肢として採用しつつ、

• 用途に応じたローカルLLMの選定
• Dify・Open WebUIなどのソフトウェア導入
• 各種設定
• 動作検証

までを一連の流れとして進められるため、企業側が「GPUは何を選ぶか」「どのLLMを入れるか」「Difyをどう載せるか」といった論点をバラバラに検討して手戻りするリスクを減らしやすくなります。

ローカルLLM導入で詰まりやすいのは、Difyの画面設定よりも、その前段にある基盤準備です。

DGX Sparkのような他社製品を含め、最初からローカルAI基盤として成立する構成を前提にAthenaが導入設計・セットアップを支援することで、Difyのメリットを活かせる状態を早い段階で作りやすくなります。

Difyの強みを社内向けアプリとして形にしやすい

本記事では、DifyでローカルLLMを使うメリットとして、RAG機能を標準で使いやすい点と、ノーコードでAIアプリを構築しやすい点を解説しました。こうしたDifyの強みを最大限に活かすためには、LLMが安定して動くローカル基盤と、業務データを安全に扱える環境を最初から整えておくことが重要です。

Athena Technologiesによる導入支援では、DGX SparkのようなGPU基盤を含むローカル実行環境を前提に、Difyを業務で使える状態まで落とし込む支援が可能。

基盤とアプリを分断して考えるのではなく、最初から「社内で使う」ことを想定して構成・設定・動作検証まで整えることで、Difyの機能をそのまま業務に展開しやすくなります。

ノードをつなぐだけでAIアプリを構築できるため、開発工数をかけずに社内向けの問い合わせ対応ボットや、業務マニュアル検索、ナレッジ参照アプリなどを短期間で形にできます。さらに、社内資料をアップロードしてRAGとして活用できるため、一般的なチャットAIでは対応しづらい「自社固有の情報を使った回答」も実現可能です。

このようにAthena Technologiesは、ローカルLLMの実行環境からアプリ活用までを一体で整えることで、社内データを扱うAIでも安心して運用できる土台を用意できます。Dify単体では見えにくいインフラ面・セキュリティ面・運用面の不安を減らしながら、生成AIを実際の業務に組み込める環境を作れる点が特徴です。

便利さと安全性の両方を実現しながらAI活用を進めたい企業にとって、おすすめの選択肢といえるでしょう。ローカルLLM導入を検討している方は、ぜひAthena Technologiesにお問い合わせください。