BLOG

近年、企業における生成AIやAIシステムの活用が広がっています。社内文書の検索や文章作成、問い合わせ対応など、さまざまな業務でAIの導入が検討されています。

一方で、機密情報や個人情報を扱う業務では、データを外部のクラウド環境へ送信することが難しい場合があります。また、企業ごとに定められたセキュリティ要件やシステム構成に合わせて、AIの利用環境を設計する必要もあります。

こうした課題に対応する選択肢の一つがオンプレミス環境です。本記事では、オンプレミスの基本的な意味とクラウドとの違いを説明するとともに、混同されやすい関連用語との違いも整理します。そのうえで、企業におけるオンプレミス生成AIの導入事例と、Athena Technologiesの取り組みを紹介します。

オンプレミスとは

オンプレミスとは、サーバーやネットワーク機器などの設備を自社または自社が管理する環境に設置して運用する形態です。自社のオフィスや施設内に設備を置く場合だけでなく、自社が管理するデータセンター内で運用する場合も含まれます。

オンプレミスでは、使用するハードウェアやソフトウェア、ネットワーク構成、データの管理方法などを、自社の方針に合わせて設計できます。その一方で、機器の導入や保守、セキュリティ対策などについて、自社側が管理する範囲も広くなります。

生成AIをオンプレミスで利用する場合は、自社管理下のGPUサーバーなどにLLMやAIシステムを構築します。システム構成によっては、機密情報や個人情報を外部のクラウド環境へ送信せず、自社環境内で処理を完結させることも可能です。

オンプレミスとクラウドの違い

クラウドとは、クラウド事業者が保有するサーバーやシステムをネットワーク経由で利用する形態です。自社で設備を購入せずに利用を始めやすく、必要に応じて計算資源を増減しやすい特徴があります。

オンプレミスとクラウドの主な違いは、次のとおりです。

特に大きな違いの一つがデータの取り扱いです。オンプレミスでは、システムの構成を適切に設計することで、機密情報や個人情報、社内データを外部クラウドへ送信せずに処理できます。ただし、オンプレミスを導入するだけで安全になるわけではありません。アクセス制御やソフトウェアの更新、ログ管理などの情報漏えい対策は別途必要です。

費用の考え方も異なります。オンプレミスでは、GPUサーバーやストレージなどの購入に初期費用がかかり、導入後も保守や電力などの運用コストが発生します。クラウドは初期費用を抑えやすい一方で、利用時間や処理量に応じたクラウド利用料が継続的に発生します。どちらが費用面で有利になるかは、利用期間や処理量、利用人数、必要な計算性能などによって変わります。

ローカルLLMや閉域環境との違い

オンプレミスと関連して使われる言葉に、ローカルLLMや閉域環境があります。これらはオンプレミスと同じ意味ではなく、それぞれ異なる観点を表しています。

ローカルLLMとは

ローカルLLMとは、外部の生成AIサービスやAPIに処理を依頼するのではなく、企業や利用者が管理する環境で動作させるLLMです。オンプレミスがサーバーやシステムの設置場所と管理形態を表すのに対し、ローカルLLMはLLMの実行方法に着目した言葉です。自社内のGPUサーバーにLLMを構築する場合は、オンプレミス環境でローカルLLMを運用する形になります。

閉域環境とは

閉域環境とは、接続できる利用者やネットワーク、通信先を限定した環境です。オンプレミスがシステムの設置場所や管理形態を表すのに対し、閉域環境はネットワークの接続範囲を表します。例えば、社内に設置したオンプレミスサーバーでも、ソフトウェアの更新や外部サービスの利用のためにインターネットへ接続することがあります。そのため、オンプレミス環境が必ずしも閉域環境であるとは限りません。

このように、オンプレミス、ローカルLLM、閉域環境は、それぞれシステムの管理形態、LLMの実行方法、ネットワークの接続範囲を表す言葉です。オンプレミス環境にローカルLLMを構築し、外部通信を制限した閉域環境で運用するなど、目的に応じて組み合わせて利用されます。

オンプレミスの導入事例

オンプレミスは、機密性の高いデータを扱う業務や、企業固有の要件に合わせてシステムを構築したい場合に活用されています。ここでは、医療分野と金融分野における導入事例を紹介します。

JCHO北海道病院におけるAIカルテ下書きシステムの先行導入

JCHO北海道病院では、カルテ入力を中心とした記録業務が医師の大きな負担となっていました。そこで、記録業務を効率化し、患者と直接向き合う時間を確保することを目指して、診察中の会話から電子カルテの下書きを作成するオンプレミス型AIシステムを先行導入しました。

このシステムでは、診察中の会話をスマートフォンで取得し、医療向けのAI音声認識システムでテキストに変換します。その後、院内ネットワークに設置されたオンプレミス生成AIサーバーが会話の内容を解析して要点を整理し、電子カルテの下書きを作成します。作成された下書きは電子カルテへ取り込まれ、医師が内容を確認したうえで利用します。

患者との会話や診療情報は、特に慎重な管理が必要なデータです。この事例では、音声認識からカルテの下書き作成、電子カルテへの連携までの処理を院内で完結させています。患者の個人情報や医療情報を外部のクラウド環境へ送信せずに扱えることが、オンプレミスを採用する大きな理由です。

システムの構築には、複数の組織がそれぞれの専門分野を生かして参加しています。

発表時点では、総合診療科やその他の内科系専門診療科へ先行導入し、医師の電子カルテ記録時間の削減や患者との対話時間の拡大につながるかを検証している段階です。

この事例からは、オンプレミスAIを実際の業務で活用するには、AIモデルだけでなく、音声入力、音声認識、院内ネットワーク、生成AIサーバー、電子カルテなどを連携させる必要があることが分かります。また、それぞれの専門分野を持つ複数の企業が役割を分担することで、医療現場の業務に対応したシステムを構築しています。

出典

独立行政法人地域医療機能推進機構北海道病院、株式会社プレシジョン、株式会社シーエスアイ、NTTドコモビジネス株式会社
厚生労働省事業に採択、JCHO北海道病院でAIカルテ下書き実証開始
2026年1月19日公開

あおぞら銀行におけるオンプレミス生成AI基盤の構築

あおぞら銀行では、生成AIを実際の銀行業務へ活用するため、外部事業者が提供するクラウド型の生成AIサービスを試験的に導入していました。その結果、業務への活用に一定の手応えを得た一方で、回答精度や機能改善の速さ、顧客情報や金融データを扱う際のセキュリティに課題が残りました。

外部のサービスを利用する場合、行内から寄せられた要望を機能へすぐに反映することが難しい場合があります。そこで同行は、生成AIアプリケーションを自社で開発し、行内の要望に合わせて改善できるオンプレミス生成AI基盤を構築しました。

この基盤では、既存のLLMに行内データを追加で学習させた「あおぞらLLM」を開発しています。この追加学習は継続事前学習と呼ばれ、行内固有の用語や金融業務に関する知識をLLMへ反映するために行われました。あわせて、必要な行内情報を検索し、その内容を回答に反映する仕組みの精度向上にも取り組んでいます。

最初の段階では、次の3つを主なテーマとして検証しました。

• 事務作業の効率化
• 行内規定の検索
• 法人営業業務の支援

オンプレミス環境を採用することで、顧客情報や機密性の高い金融データを自社の管理下で扱えるようになります。また、生成AI基盤とアプリケーションを自社で開発することで、行内の要望を機能改善へ反映しやすくなり、生成AIの開発や運用に関する知識を社内へ蓄積できます。

システムの構築には、あおぞら銀行、neoAI、HPEが参加しています。

生成AI基盤を支えるサーバーには、HPE ProLiant DL380a Gen11が採用されました。このサーバーにはNVIDIA H100が4基搭載され、あおぞらLLMへの追加学習や回答生成に利用されています。

取り組みの結果、行内固有の用語や業務の流れを含む質問に対する応答精度は、学習前比で約130％となりました。また、あおぞら銀行は生成AI基盤をリリースし、最初の段階の取り組みに一区切りを付けています。HPEの事例資料では、次のフェーズでAIエージェントを取り入れ、行内での活用範囲を広げる予定が示されています。

この事例からは、オンプレミスが重要なデータを自社管理下で扱うためだけでなく、企業固有の知識をAIへ反映し、現場の要望に合わせて継続的に改善するための基盤にもなることが分かります。また、自社で開発と運用を進めることで、生成AIに関する経験や知識を社内へ蓄積できる点も特徴です。

出典

日本ヒューレット・パッカード合同会社
金融DXを牽引するオンプレミス生成AI基盤の実現

株式会社neoAI
あおぞら銀行 x neoAI オンプレミス型次世代AI基盤構築に向けて、金融、行内特化LLMを開発
2025年4月28日公開

Athena TechnologiesによるオンプレミスAIの導入支援事例

ここまで、医療分野と金融分野におけるオンプレミスの導入事例を紹介しました。Athena Technologiesでも、オンプレミス環境を活用したAIシステムの構築を支援しています。

ここからは、当社が関西電力様と実施した、ローカルLLMと四足歩行ロボットを組み合わせた設備点検の実証事例を紹介します。

関西電力様との設備点検実証におけるローカルLLMと四足歩行ロボットの活用

関西電力様では、人手不足を背景に、発電所などで行われる点検や巡視業務を効率化することが課題となっていました。従来のロボットは、あらかじめ設定された動作を行うことはできますが、障害物や現場の状況変化に応じて柔軟に判断することが難しいという課題もありました。

そこで当社は、関西電力様とともに、AIが周囲の状況を認識し、判断しながらロボットを動かす仕組みの実用可能性を検証しました。

今回の実証では、外部通信を行わない完全閉域ネットワーク内でローカルLLMを動かし、音声やテキストによる指示を理解して四足歩行ロボットを制御する基盤を構築しました。検証には、NVIDIAの小型AIコンピューターであるDGX Sparkと、四足歩行ロボットのUnitree Go2を使用しました。

主に検証したのは、次の3つのタスクです。

• 施設内の地図を基に、目的地まで自律的に移動するルート巡視
• 音声やテキストによる指示を理解し、指定された作業を実行する機能
• 指定された場所で画像を撮影し、異常の有無を分析してレポートを作成する機能

これにより、作業員が細かなプログラムを作成しなくても、日常的な言葉でロボットへ作業を指示できる仕組みを検証しました。

発電所などの重要インフラで扱われる映像や設備情報は機密性が高く、外部への送信を慎重に管理する必要があります。そこで、今回の実証では外部通信を行わない完全閉域環境を構築し、音声認識からロボットへの指示の生成までを環境内で完結させました。

また、外部のクラウドLLMに依存しないことで、APIの仕様変更やモデル更新による出力の変化の影響を受けにくくし、安定した運用を目指しています。

今回の取り組みは本格導入ではなく、実際の設備点検へ活用できるかを確認する実証実験の段階です。ロボットとLLMの通信、施設内の移動、音声指示への対応、画像分析などを検証し、重要インフラの現場で利用するための知見を蓄積しました。

今回の実証を通じて、AIを設備点検などの現場で活用するには、システム上で動作を確認するだけでなく、実際の機器や利用環境に合わせた調整が重要であることを確認しました。

特に、四足歩行ロボットでは、プログラム上の移動距離と実際の移動距離に差が生じる場合があります。そのため、現場で動作を確認しながら調整を重ねることが、実用化に向けた重要な工程となります。

出典

株式会社Athena Technologies
関西電力様：ローカルLLM×四足歩行ロボットで実現する次世代インフラ点検
2026年4月7日公開

株式会社Athena Technologies
関西電力株式会社と松尾研発スタートアップAthena、ローカルLLMによる閉域環境下でのロボット制御に関するPoCを開始
2026年3月25日公開

まとめ

オンプレミスとは、サーバーやネットワーク機器などを自社または自社の管理下に設置し、運用する形態です。クラウドと比べて自社側で管理する範囲は広くなりますが、ハードウェアやソフトウェアの構成、データの取り扱い方法を自社の方針に合わせて設計しやすい特徴があります。

特に、機密情報や個人情報を外部クラウドへ送信せずに処理したい場合や、企業固有の知識や業務に適したAIを構築したい場合には、オンプレミスが有力な選択肢となります。本記事で紹介した医療、金融、インフラの事例からも、データの保護だけでなく、既存システムとの連携や継続的な機能改善を目的としてオンプレミスが活用されていることが分かります。

一方で、オンプレミス環境を導入するだけでAIを業務へ活用できるわけではありません。目的に合ったGPUサーバーやAIモデルを選び、ネットワーク、セキュリティ、既存システムとの連携まで含めて設計することが重要です。自社の課題や取り扱うデータ、必要な性能を整理したうえで、クラウドとオンプレミスのどちらが適しているかを検討しましょう。

オンプレミス環境でのAI導入を検討している方へ

オンプレミスAIの導入には、取り扱うデータや利用目的、必要な性能、既存システムとの連携などを踏まえた設計が必要です。

Athena Technologiesでは、オンプレミス型のローカルLLM環境の設計と構築から、業務に合わせたAIアプリケーションの開発、ロボットなどの機器との連携まで、お客様の課題やセキュリティ要件に応じて支援しています。

機密情報を外部クラウドへ送信せずにAIを活用したい方や、自社の業務に適したAIシステムを構築したい方は、ぜひ当社へご相談ください。