論文の概要: The Innocent Courier: Covert Exfiltration Through Legitimate LLM Web Fetching
- arxiv url: http://arxiv.org/abs/2610.01768v1
- Date: Thu, 01 Oct 2026 14:25:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.189814
- Title: The Innocent Courier: Covert Exfiltration Through Legitimate LLM Web Fetching
- Title(参考訳): 有害なクーリエ:LLMウェブ・フェッチによるカバート・エクスプロイト
- Abstract要約: LLM(Large-Language-Models)とLLMベースのエージェントは、機密データをサードパーティにリークするリスクがある。
LLMLeakは、ローカルで動作する悪意のあるソフトウェアが、LLMを悪用して隠蔽チャネルを確立するために直接通信できない、新たな攻撃ベクトルである。
クライアント側の悪意あるソフトウェアコンポーネントは、秘密をURLに埋め込む。LLMがURLにアクセスすると、攻撃者は攻撃者が制御するDNSまたはWebサーバを介して暗号化された秘密を受け取る。
- 参考スコア(独自算出の注目度): 56.52163437439819
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the increasing capabilities of Large-Language-Models (LLMs) and LLM-based agents, users are increasingly using them to solve everyday problems, such as answering e-mails or providing programming support. Existing work has extensively investigated security and privacy risks, such as prompt injections and the disclosure of sensitive data to chatbot providers. While various solutions were developed to address these risks, including input structuring to prevent prompt injections or deploying local LLMs to avoid sharing confidential data with chatbot operators, LLMs also pose the risk of leaking confidential data to third parties. In this paper, we demonstrate with LLMLeak a novel attack vector where malicious software that runs locally but cannot communicate directly with the internet abuses LLMs to establish a covert channel. While inputs that instruct the LLM to send data directly via generated code are easy to detect and network libraries are typically restricted, LLMLeak relies only on the LLM's tool to fetch websites for further information. A malicious software component on the client side embeds a secret into a URL. It presents the referenced website as providing information required for a benign task, such as migrating a software library. When the LLM accesses the URL, the attacker receives the encoded secret through an attacker-controlled DNS or web server. We perform an extensive evaluation on eleven open-parameter models, observe an attack success rate of 79.7%, and also conduct a case study on real-world chatbots, demonstrating the relevance of LLMLeak.
- Abstract(参考訳): LLM(Large-Language-Models)とLLMベースのエージェントの能力の増大に伴い、ユーザは、電子メールの応答やプログラミングサポートの提供など、日々の問題を解決するために、それらを使用することが増えている。
既存の作業は、迅速なインジェクションや、チャットボットプロバイダへの機密データの開示など、セキュリティとプライバシのリスクを幅広く調査してきた。
これらのリスクに対処するために、インプット構造化や、チャットボットオペレータと機密データを共有しないようにローカルLSMを配置するなど、さまざまなソリューションが開発されたが、LLMはサードパーティに機密データをリークするリスクも生じている。
本稿では,LLMLeakを用いて,ローカルで動作する悪意のあるソフトウェアがLLMと直接通信できない新たな攻撃ベクトルを実演し,隠蔽チャネルを確立する。
LLMに生成されたコードから直接データを送信するよう指示する入力は検出が容易であり、ネットワークライブラリは通常制限されているが、LLMLeakはLLMのツールにのみ依存し、さらなる情報を取得する。
クライアント側の悪意のあるソフトウェアコンポーネントは、秘密をURLに埋め込む。
参照されたWebサイトは、ソフトウェアライブラリの移行など、良心的なタスクに必要な情報を提供するものとして提示される。
LLMがURLにアクセスすると、攻撃者は攻撃者が制御するDNSまたはWebサーバを介して暗号化された秘密を受け取る。
我々は11個のオープンパラメータモデルに対して広範囲な評価を行い、79.7%の攻撃成功率を示し、LLMLeakの妥当性を示す実世界のチャットボットのケーススタディを実施している。
関連論文リスト
- Identifying AI Web Scrapers Using Canary Tokens [4.364248691212873]
大きな言語モデル(LLM)をフィードする大規模なWebスクレイピングは、サイトの安定性に影響を与え、法的、プライバシー、倫理的懸念を高める。
本稿では, LLM 関連スクレーカーの精度, 自動推定のための新しい手法を提案する。
論文 参考訳(メタデータ) (2026-05-13T15:53:57Z) - Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models [29.879456712405204]
大規模言語モデル(LLM)は、リアルタイムWeb検索機能を備え、モデルコンテキストプロトコル(MCP)のようなプロトコルと統合されつつある。
この拡張は新たなセキュリティ脆弱性を導入する可能性がある。
本稿では,Webページなどの外部リソースに悪意あるフォント注入を施して,隠れた敵のプロンプトに対するLLM脆弱性を系統的に調査する。
論文 参考訳(メタデータ) (2025-05-22T17:36:33Z) - Defeating Prompt Injections by Design [79.00910871948787]
CaMeLは、Large Language Modelsを中心とした保護システムレイヤを作成する堅牢なディフェンスである。
CaMeLは、(信頼された)クエリから制御とデータフローを明示的に抽出する。
セキュリティをさらに改善するため、CaMeLは、権限のないデータフロー上のプライベートデータの流出を防止する機能の概念を使用している。
論文 参考訳(メタデータ) (2025-03-24T15:54:10Z) - When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs [26.2943792874156]
個人データを含むサイバー攻撃における大規模言語モデル(LLM)の誤用に関連するリスクについて検討する。
具体的には,サイバーアタックの実施を指示されたLLMエージェントがいかに強力かを理解することを目的としている。
本稿では,PII(Personally Identible Information)の収集,偽造投稿の生成,スピアフィッシングメールの作成の3つの攻撃シナリオについて検討する。
論文 参考訳(メタデータ) (2024-10-18T16:16:34Z) - SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。
我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。
本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
論文 参考訳(メタデータ) (2024-10-07T19:34:35Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳(メタデータ) (2024-08-23T01:37:29Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳(メタデータ) (2023-02-23T17:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。