AI技術の急速な発展に伴い、多くの企業に業務効率化の波が押し寄せています。しかし、高度なクラウドAIサービスが普及する一方で、機密保持やセキュリティポリシーの厳格さから、最先端のツールを導入できない現場も少なくありません。本記事では、外部ネットワークにデータを一切送信しない「ローカルLLM」と、PC上の定型業務を自動化する「RPA」を組み合わせる手法を解説します。セキュリティの壁を無理に乗り越えるのではなく、安全な環境の内部でパーソナルなAIエージェントを構築し、業務変革を実現するための具体的なアプローチを提示します。

【シリーズ「AIトランスフォーメーション（AX）」】
日本企業は「AX（AIトランスフォーメーション）」でDXの遅れを取り戻せるのか？
「調べる・まとめる・作る」を一気に実行！Genspark活用のすすめ
AIトランスフォーメーションを成功へ導くステップとは？
Difyで始める最速AX！AIのビジネス活用の成否は「ナレッジ管理」で決まる
【2026年最新版】業務変革の要！AIエージェント導入ガイド
「神エクセル」がAXを阻害する？AIフレンドリーなExcel運用・管理法

AIが使えない現場

近年、生成AIのビジネス活用が盛んに提案されていますが、すべての組織がその恩恵を享受できているわけではありません。機密情報や個人情報を極めて厳格に管理しなければならない現場では、クラウド型のAIサービスを利用することが規約上不可能なケースが多々見られます。本章では、そうした「AIを使いたくても使えない」現場が直面している課題を深掘りし、なぜ今、外部と遮断された環境で動作するローカルAIが必要とされているのか、その背景と重要性について詳しく解説します。

クラウドAIを「使いたくても使えない」現場

現在のビジネスシーンにおいて、AIの活用は企業の競争力を左右する重要な要素となっています。文章作成やデータ分析、プログラミング支援など、その応用範囲は多岐にわたり、多くの実務者が日常的にAIの恩恵を受けています。しかし、最先端のクラウドAIを自由に利用できない業種や部署が数多く存在しているのが実情です。

例えば、顧客の資産情報や信用情報を扱う金融機関、患者の極めて繊細なプライバシーの情報に触れる医療機関、住民の個人情報を統括する地方自治体などが挙げられます。また、最先端の技術開発を行う製造業の研究開発部門、顧客の生の声が集まるコールセンター、企業の根幹に関わる契約書を扱う法務部門、人事評価や採用情報を管理する人事部門なども同様です。これらの現場では、取り扱うデータの重要性が極めて高く、万が一にも外部へ情報が漏洩することは許されません。

ここで見落としてはならないのは、こうした現場の人々がAIの活用に消極的であるわけではないという点です。むしろ、日々大量の定型業務や複雑な文書処理に追われており、AIによる効率化を誰よりも必要としています。しかし、組織のセキュリティポリシーが障壁となり、使いたくても使えない不都合を抱えています。一般的なクラウドサービスでは、入力されたデータがモデルの学習に利用されない設定があったとしても、ネットワークを通じて外部のサーバに送信されるという事実そのものがリスクとみなされ、導入の決断を下せない状況が続いています。

クラウドAIとローカルAI

ChatGPTをはじめとするクラウドAIサービスは非常に強力です。数千億から数兆パラメータとも言われる大規模なモデルを基盤としており、世界中の膨大な知識を網羅しています。最新のニュースを反映した高度な対話や、洗練されたマーケティング文章の生成、さらには複数のアプリケーションを跨いだ共同作業など、その能力は圧倒的です。

クラウドAIが向いている領域は、公開されても問題のない一般的な情報をもとにしたアイデア出し、最新のトレンド分析、組織全体でのナレッジ共有、あるいは各種SaaSとの密接な連携作業です。これに対して、ローカルAIが必要とされる領域は、完全に隔離された閉域環境、現場のスタンドアロン端末、機密性の高い社内文書の一次処理、特定の定型業務における分類・要約・抽出作業です。ローカル環境で動作するAIは、インターネット上のあらゆる知識を持っているわけではありませんが、与えられた目の前のテキストを安全に、かつ確実に処理することに長けています。両者を適切に使い分けるアプローチが、現代の企業に求められています。

「壁の内側」でAIを駆動させる

従来のIT導入においては、新しいテクノロジーを取り入れるために、既存のセキュリティポリシーをどのように緩和すべきか、という議論がなされることがよくありました。しかし、情報の重要性が増す現代において、ポリシーの壁を無理に乗り越えようとすることは、組織全体を重大なリスクに晒す行為にほかなりません。

そこで浮上するのが、セキュリティポリシーの壁を無理に突破するのではなく、壁の内側でAIを使うという逆転の発想です。外部へのデータ送信が一切禁止されているのであれば、データを外に出さないシステム構成を構築すれば解決します。社内ネットワーク内だけで全ての処理を完結させたい場合は、オンプレミスのサーバーに大規模言語モデルを構築する、あるいは業務用のPC端末そのもので動作するエッジLLMを活用するという選択肢が現実味を帯びてきます。

さらに、PC上で行われている日常的な業務を自動化する手段として、古くから実績のあるRPA（ロボティック・プロセス・オートメーション）を手足として組み合わせます。RPAは、人が画面上で行っている操作を忠実に再現するツールであり、外部の環境に依存せず、社内のシステム内だけで完結して動作させることが可能です。

外部と完全に遮断されたローカルLLMと、実務を遂行するRPAの連携こそが、企業の安全性を担保した上で業務を効率化する、「完全にコントロールされたAX」の出発点となります。

ローカルLLMとRPAの連携

では、ローカルLLMとRPAを組み合わせたシステムは、具体的にどのような位置づけになるのでしょうか。ローカル環境で動くAIは、人の代わりに意思決定を下す全能の存在ではありません。大量のテキストから必要な情報を分類し、要約を作成し、特定の項目を抽出し、次に人が取るべきアクションの候補を提示する判断補助エンジンとして位置づけるのが適切です。一方で、RPAはExcelファイルの編集、Webブラウザの操作、ローカルフォルダ内のファイル管理、社内の基幹業務アプリケーションへのデータ入力など、PC上の具体的な作業をミスなく高速に行う実行エンジンとしての役割を担います。

従来のRPAだけでは「顧客からの問い合わせメールの内容を読み取って、重要度を判断する」といった、若干の思考を要する柔軟な処理が困難でした。しかし、判断をローカルLLMに委ね、操作をRPAに任せるという役割分担を行うことで、この課題は解消されます。データを一切外部に流出させることなく、これまで人の手で行うしかなかった高度な定型業務を完全に自動化することが可能になります。この強固なセキュリティと柔軟な処理能力の両立こそが、ローカルLLMとRPAを連携させる最大の価値であり、クラウドAIを使えない現場における実用的な解決策となります。

エッジLLMの現在地

インターネットを介さずに手元の計算資源だけで大規模言語モデルを動かす技術は、ここ数年で驚異的な進化を遂げました。かつては巨大なデータセンターでしか運用できなかったAIが、今や一般的なビジネスPCや社内サーバの上で実用的な速度で動作するようになっています。本章では、ローカルLLMを取り巻く最新の技術動向を整理し、その具体的な導入形態や、実務に投入する上での限界と強み、そして安全に運用するための設計原則について詳しく解説します。

クラウドからローカルへ

数年前まで、大規模言語モデルを実用的な速度で動かすためには、数千台規模の高性能GPUを備えたクラウド上のデータセンターが不可欠であると考えられていました。莫大なパラメータを持つAIモデルを処理するには、個人や一般的な企業が保有できるレベルの計算資源では到底足りないというのが技術的な常識だったからです。

しかし、オープンソースコミュニティを中心とした技術革新により、この常識は完全に覆されました。モデルの軽量化技術や、限られたハードウェア資源を最大限に活かす推論エンジンの開発が進んだことで、生成AIの駆動環境は劇的な変化を遂げています。現在では、特別なスーパーコンピュータを用意しなくても、手元のワークステーションや社内のオンプレミスサーバ、さらには一般的な業務用のノートPCにおいてすら、実用的な速度でAIを動作させることが可能になりました。

自社の重要なデータを外部に一歩も出さずに、完全に自社の管理下でAIを運用する選択肢が現実のものとなっています。インターネット接続が不安定な場所や、そもそも外部ネットワークへの接続が厳しく制限されている閉域環境であっても、高度な言語処理機能を備えたAIエージェントを稼働させることができる時代が到来しています。

ローカルLLMを支える技術

ローカル環境でのAI運用を支える技術基盤は、開発者向けの実験的なツールから企業向けの本格的なプラットフォームまで、急速に多様化が進んでいます。

まず、個人PCや業務端末で手軽にローカルLLMを試すための環境として、OllamaやLM Studioの存在が挙げられます。これらは直感的な操作画面やシンプルなコマンドを提供しており、高度な専門知識がなくても、公開されているオープンソースのモデルを数クリックでダウンロードして動作させることができます。さらに、OllamaなどはOpenAIの仕様に準拠したAPIを自動的に立ち上げる機能を備えているため、既存のアプリケーションや自作のスクリプトから、まるでクラウドAIを呼び出すかのようにローカルモデルを利用できる点が大きなメリットです。

より軽量な動作や、リソースの限られたエッジデバイスへの組み込みを目指す用途では、llama.cppやONNX Runtimeといった推論エンジンが活躍しています。これらはCやC++といった言語で記述されており、ハードウェアの性能を極限まで引き出す設計がなされています。

一方、企業が組織全体で本格的な運用を目指す場合には、GPUを搭載したワークステーションや社内サーバを活用する構成が主流です。例えば、NVIDIA NIMのような推論マイクロサービスを利用することで、安全な社内ネットワーク内に強固なAI基盤を構築できます。また、IBM Graniteのように、ビジネス用途を想定して著作権やデータの透明性に配慮されたオープンモデル群が登場したことも、企業がローカル運用を決断する強力な後押しとなっています。

ローカルLLMの限界

ローカルLLMはセキュリティ面で圧倒的な優位性を持つ一方で、技術的な限界があることも正しく認識しなければなりません。クラウド上で提供されている最上位の超巨大モデルと比較した場合、どうしても推論能力、長文の処理能力、あるいは画像や音声を同時に扱うマルチモーダル性能において劣る点があります。数千億規模のパラメータを持つクラウドAIは複雑な論理思考や高度なプログラミング、膨大な背景知識を必要とする対話が得意ですが、ローカルPCで動かせる規模のモデルに同等の性能は期待できません。また、PC端末のCPUだけで大きなモデルを動かそうとすると処理速度が著しく低下するため、実用的なレスポンスを得るには高性能なGPUや大容量のメモリを搭載した端末が必要となります。

よくある躓きとして、ローカルAIに対して「何でも回答できる万能の相談相手」を求めてしまうケースが挙げられます。世界中の最新ニュースや広範な一般常識について尋ねても、ローカルモデルでは正確な答えを返せないことが多々あります。ローカルLLMは万能のAIとして扱うのではなく、限定された機能を提供する部品として位置づけるのが現実的です。十分な知識は持っていなくても、目の前にあるテキストの内容を読み取り、決められたルールに従って分類や抽出を行うだけであれば、軽量なモデルでも十分に実力を発揮します。

ローカルLLMのユースケース

ローカルLLMの特性を最大限に活かせるのは、最新の世界知識よりも、手元にある情報の秘匿性と正確な処理が求められる業務領域です。

具体的なユースケースとして、まずコールセンターや顧客窓口に届く問い合わせメールの自動分類が挙げられます。メール本文には顧客の氏名や電話番号、具体的なトラブル内容といった個人情報が凝縮されているため、クラウドAIへの送信は躊躇されます。しかし、ローカルLLMであれば、安全に内容を読み取って「解約希望」「製品の不具合」「一般的な質問」などのカテゴリに仕分けることができます。

また、社内の重要な会議の議事録の要約、膨大なExcel行データに記載された自由記述欄の確認、手書き帳票をデータ化したテキストからの特定項目の抽出といった業務にも最適です。ほかにも、機密性の高い申請書類の初期チェックや、顧客の対応履歴をもとにした引き継ぎ用のサマリー作成なども考えられます。

これらの業務に共通しているのは、処理対象のデータが組織の外部に出てはならない極めてデリケートな情報であるという点、あるいは必要な作業が「要約・分類・抽出」といった特定のタスクに絞られている点です。このような用途においては、ローカルで処理を行うほうがセキュリティポリシーの説明責任を果たす上でも遥かに有利になります。

ローカルLLMの設計原則

ローカルLLMを実際の業務プロセスに組み込む際には、システムが予期せぬ挙動を起こさないための厳格な設計原則が必要です。AIのリスク管理に関する国内外のガイドライン、例えばNISTのAIリスクマネジメントフレームワークや経済産業省・総務省のAI事業者ガイドラインにおいても、AIシステムの安全な制御と説明可能性の重要性が強調されています。

第一の原則は、AIに自由な文章を記述させるのではなく、出力の形式を厳密に制限することです。システム間でデータをやり取りする際は、情報をJSONなどの構造化されたデータ形式で返却させるようにモデルに指示します。これにより、後続のプログラムやRPAがデータを機械的に処理しやすくなります。

第二の原則は、AIに直接的な実行権限を与えないことです。AIの出力結果に基づいて実際のファイル操作やシステムへの入力を行うのは、あくまでルールベースで動くRPAの役割とします。AIが勝手に判断して重要なデータを削除するような事態を防ぐため、判断と実行の機構を明確に分離します。

第三の原則は、AIの判断に対する「確信度」を併せて出力させ、信頼性が低い場合は自動処理を停止して人の手による確認に回す仕組みを設けることです。AIの出力を過信せず、管理された部品として業務に組み込むことこそが、トラブルを未然に防ぎ、実務で安全にローカルAIを使いこなすための鍵となります。

【参考】AI Risk Management Framework

【参考】AI Guidelines for Business Ver1.2

ローカルLLMとRPAを組み合わせる

安全かつ強力な自動化環境を構築するためには、ローカルLLMとRPAの協調が不可欠です。言葉の意味を捉えることに長けたAIと、PC上の画面操作を正確に遂行するRPAを連携させることで、これまで自動化が不可能とされていた複雑な実務を効率化できるようになります。本章では、両者を組み合わせた具体的なシステム構成や、安全に動かすためのデータ設計、現場での活用事例、そしてクラウド型のシステムとの最適な棲み分けについて詳しく解説します。

RPAの得意分野と限界

PC上での日常業務を自動化する手段として、Power Automate DesktopをはじめとするRPAツールは多くの企業に導入されています。RPAは、Excelファイルの作成や編集、Webブラウザの起動と特定のフォームへの入力、ファイルの移動、基幹システムへのログインといった操作を人の代わりに高速かつ正確に代行する技術です。あらかじめ定められたルールや手順に従って動くため、処理に迷がなく、大量のデータをミスなく処理する領域において圧倒的な強みを発揮します。

しかし、従来のRPAには単体での運用における明確な限界が存在していました。RPAはルールベースで動作するシステムであるため、手順が厳密に決まっていない曖昧な状況に対応できないという弱点があります。

実務の現場では、ルール通りにいかない処理が頻繁に発生します。例えば、顧客から届く自由な文章で書かれた問い合わせメールの内容を読み取って適切に分類する作業や、契約書などの複雑な文章から特定の項目だけを抜き出す作業は、従来のRPAだけでは対応できませんでした。少しでも形式が変わったり、想定外の表現が含まれていたりするとシステムが停止してしまうため、結局は人の手による判断を挟まざるを得ず、自動化の範囲が限定される原因となっていました。

ローカルLLMとRPAの連携フロー

このRPAの弱点を補い、自動化の可能性を大きく広げるのがローカルLLMとの連携です。両者を組み合わせる場合、それぞれの役割を「判断」と「実行」に完全に切り離してシステムを設計します。

具体的な連携のフローとしては、まずRPAが起点となって動きます。Power Automate DesktopなどのRPAが、共有フォルダからExcelファイルを読み込んだり、社内システムから顧客の要望テキストを取得したりします。次に、RPAに備わっているHTTPリクエスト機能を使い、同じPC内や社内ネットワーク内で起動しているOllamaやLM StudioのAPIに対して、取得したテキストを送信します。

テキストを受け取ったローカルLLMは、事前の指示に従って文章の意味を解釈し、必要な分類や抽出を行い、その結果を構造化されたデータとしてRPAに返却します。結果を受け取ったRPAは、そのデータの内容に応じて条件分岐を行い、Excelへの転記や社内システムへの入力、あるいは確認メールの下書き作成といった後続の具体的なPC操作を完了させます。

この構成において重要なのは、AI自身が直接画面をクリックして操作するわけではないという点です。AIはあくまでテキストの処理と判断のみを担当し、実際のデスクトップ操作は信頼性の高いRPAが一貫して担うため、システム全体の動作が非常に安定します。

安全性を担保するデータ設計

AIとRPAを組み合わせて運用する上で、最も警戒すべきなのはAIの出力の揺らぎによるシステムの暴走です。AIに対して「次に何をすべきか、自由な文章で指示してください」といった曖昧な命令を与えてしまうと、日によって出力される言葉が変わり、RPAが次の動作を認識できずにエラーを起こす原因になります。最悪の場合、重要なデータを誤って削除するなどの深刻なトラブルに繋がりかねません。

このような問題を未然に防ぎ、ローカルLLMの出力を厳密に構造化された形式に制限する安全設計が求められます。具体的には、AIからの返答をすべてJSONなどの構造化されたデータ形式で返すようにし、あらかじめ決めた項目以外を出力させないように制御します。

実務で利用する具体的なデータ構造の設計例として、以下の形式が有効です。

• category：問い合わせの内容を「解約」「質問」「不具合」などの固定値で分類した結果
• priority：対応の緊急度を「高」「中」「低」の3段階で判定した値
• summary：本文を50文字程度で簡潔にまとめた要約テキスト
• next_action：次にシステムが取るべき行動を「転記」「保留」「通知」などの識別子で指定したもの
• confidence：AI自身がその判断にどれだけ自信があるかを0から1の数値で表した確信度

RPA側では、このJSONデータを受け取り、項目の中に許可された値が含まれている場合のみ処理を前に進めるように設定します。もし想定外の値が含まれていたり、確信度を示す数値が事前に設定した基準を下回っていたりした場合は、自動処理を強制的に停止し、即座に人の確認へと回す条件分岐を仕込んでおきます。この設計を徹底することで、AIの持つ柔軟性とRPAの持つ確実性を高度に両立させることが可能になります。

実務におけるユースケース

データを外部のクラウドに送信できない環境であっても、ローカルLLMとRPAの組み合わせは様々な実務において効果を発揮します。

• コールセンターの業務効率化：顧客から届いた複雑な問い合わせ文や通話記録のメモを、ローカルLLMが安全に読み取って内容を要約し、適切な対応カテゴリと緊急度を判定します。その判定結果をJSON経由で受け取ったRPAが、社内の顧客管理システムやkintoneの該当する項目へ自動的に転記して登録を行います。
• 経理部門の入力自動化：取引先から届いた各種の請求書や申請テキストから、ローカルLLMが会社名、日付、金額、品目といった必要な情報だけを正確に抽出します。その後、RPAがその抽出データをもとにして、会計ソフトや社内の管理台帳へミスなく高速にデータを反映させます。
• 人事部門の書類管理：従業員から提出された社内申請書類や面談の記録メモを、ローカルLLMがプライバシーの配慮をしつつ安全にサマリー化します。RPAはその要約文を含むファイル名へ自動的に書き換え、あらかじめ指定された機密フォルダへ適切なルールで仕分けして保存します。
• 製造現場の異常検知：日々の作業記録や現場の点検コメントに含まれる自由記述の文章を、ローカルLLMが解析してトラブルの予兆を分類します。異常の候補が含まれていると判定された場合のみ、RPAが連動して保守担当者へアラートメールを自動で送信し、重大な事故を未然に防ぎます。

いずれの事例においても、顧客情報や社外秘のデータを外部のネットワークに一切流出させることなく、これまで人の手に頼るしかなかった判断を含む定型業務を安全に自動化できています。

クラウド型エージェントとの使い分け

自動化の設計において、DifyやCopilot Studioといったクラウド型のワークフロー基盤との棲み分けを正しく理解しておくことは、企業のAIトランスフォーメーション（AX）を現実的に進める上で極めて重要です。

クラウド型のプラットフォームは、組織全体での大規模なデータ連携や、各種SaaSとのWebフックを利用した密接な統合、および常に最新の状態にアップデートされる超高性能なAIモデルの活用において圧倒的な強みを持っています。全社的な情報共有や、公開情報をもとにしたマーケティング支援といった領域では、クラウド型の仕組みを採用するのが最も効率的です。

一方で、ローカルLLMとRPAの組み合わせが真価を発揮するのは、外部送信が一切許されない特殊な端末や、物理的にインターネットから遮断された閉域環境、あるいは個人の現場PC内で完結させたい定型作業の領域です。

これからの企業に求められるのは、すべての業務システムを無理にクラウド化することではなく、自社のセキュリティポリシーと業務のリスクを正確に見極め、クラウドAIで攻めるべき領域と、ローカルAIで守るべき領域を明確に分割することです。この地に足のついた適切な役割分担こそが、安全で持続可能な業務効率化を達成するための唯一の道筋となります。

AXの歩みを止めないために

ローカルLLMとRPAを組み合わせたシステムは、クラウド上で提供されている万能なAIを完全に置き換えるための選択肢ではありません。クラウドAIには、圧倒的な知識量と高度な思考力、および絶え間ない機能改善という独自の強みがあります。しかし、機密情報の厳格な保持を義務付けられている現場や、外部ネットワークへの接続が厳しく制限された閉域環境を持つ業種においては、クラウドへの依存だけではデジタル変革の歩みが完全に止まってしまいます。

そこで有効な解決策となるのが、安全な壁の内側で動作するローカルLLMを判断の補助に使い、使い慣れたRPAを実行役に据えるという構成です。AIにすべての意思決定やPC操作を丸投げするのではなく、入力するデータ、出力させる形式、自動実行を許可する範囲、および人の手で確認すべき条件を、組織の管理下に置いて厳密にコントロールします。

完全自律型のエージェントを追い求めるのではなく、業務の特性とセキュリティリスクを深く理解し、自社の安全な環境の内部で一歩ずつ着実に自動化の領域を広げていくこと。この「完全にコントロールされたAX」の視点こそが、これからの厳しいビジネス環境において、組織の安全性と生産性の向上を真に両立させるための確かな鍵となります。