Fugu-MT 論文翻訳(概要): Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control

論文の概要: Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control

arxiv url: http://arxiv.org/abs/2609.14003v1
Date: Sat, 12 Sep 2026 15:31:37 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.633565
Title: Confuse the Model, Control the Flow: Understanding and Mitigating Privacy Leakage from LLM Agents with Information Flow Control
Title（参考訳）: モデルの混乱とフロー制御:情報フロー制御によるLLMエージェントからのプライバシ漏洩の理解と軽減
Abstract要約: パーソナルAIエージェントは、ユーザのプライベートデータと通信へのアクセスがますます与えられている。エージェントは、与えられた機密情報が特定の当事者に開示されるべきかどうかを判断しなければならない。 FLOWSEALは、エージェントのコンテキスト外のツールレベルのインターセプターを通じて機密性を強制する防衛システムである。
参考スコア（独自算出の注目度）: 33.97165894442089
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Personal AI agents built on large language models (LLMs) are increasingly given access to a user's private data and communications in order to provide personalized assistance. This access creates a persistent privacy risk: the agent must decide whether a given sensitive information should be disclosed to a particular party. Existing defenses address this by making the agent's backend LLM more privacy-preserving through stronger system prompts, training, or explicit consent-checking procedures, but this approach has a structural challenge: whenever enforcement is a judgment the LLM makes over the same conversational context an adversary controls, the enforcement mechanism and the attack surface coincide. We demonstrate this against existing defenses with three new attacks that require only ordinary agent interaction and no prompt injection: Collaborative Workspace Lure reframes an extraction attempt as collaborative work; Semantic Obfuscation Attack induces disclosure through omission rather than through anything the agent writes; and Channel Decoupling Attack splits the extraction request and the disclosure across independent channels. All three achieve substantially higher leak rates than the attacks these defenses were originally designed to withstand. Guided by this observation, we present FLOWSEAL, a defense that enforces confidentiality through a tool-level interceptor outside the LLM's context, grounded in data provenance and an information-flow-control lattice with controlled declassification. Evaluated across three benchmarks, five prompt-based baselines, and eight attacks, including a real agent executing live tool calls through MCP, FLOWSEAL reduces leak rates to near zero (e.g., 52.2% to 0.5% against Collaborative Workspace Lure) while preserving task utility, regardless of the underlying LLM backend.
Abstract（参考訳）: 大規模言語モデル(LLM)上に構築されたパーソナルAIエージェントは、パーソナライズされたアシストを提供するために、ユーザのプライベートデータと通信へのアクセスがますます多くなっている。エージェントは、与えられた機密情報が特定の当事者に開示されるべきかどうかを判断しなければならない。既存の防御は、エージェントのバックエンド LLM をより強力なシステムプロンプト、トレーニング、明示的な同意確認手順を通じてよりプライバシー保護することでこの問題に対処するが、このアプローチには構造的な課題がある。協調作業空間 Lure は、協調作業として抽出の試みを再構築し、セマンティック難読化攻撃は、エージェントが書くものよりも、省略によって開示を誘導し、チャンネルデカップリング攻撃は、抽出要求と独立チャネル間の開示を分割する。これら3機は、もともとこれらの防御が耐えられるように設計されていた攻撃よりも、かなり高い漏れ率を達成した。この観察から導かれたFLOWSEALは、LLMのコンテキスト外のツールレベルのインターセプターを通じて機密性を強制する防衛であり、データ証明と制御された非分類化を伴う情報フロー制御格子を基盤としている。 3つのベンチマーク、5つのプロンプトベースのベースライン、実際のエージェントによるMPPによるライブツールコールを含む8つの攻撃で評価されたFLOWSEALは、基盤となるLLMバックエンドに関係なくタスクユーティリティを保ちながら、リークレートをほぼゼロ(例えば、52.2%から0.5%)に削減する。

関連論文リスト

Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference [5.218013327284395]
協調的なエッジクラウド推論により、リソース制約のあるデバイスは、クラウドサーバに部分計算をオフロードすることで、大きな言語モデル(LLM)を活用することができる。中間的アクティベーションの送信は、インバージョンアタックを誘導する機密性の高いユーザープロンプトを公開する。協調LLM推論におけるインバージョンを迅速に行うための情報理論防衛フレームワークを提案する。
論文参考訳（メタデータ） (2026-06-10T02:36:26Z)
Anonymous-by-Construction: An LLM-Driven Framework for Privacy-Preserving Text [0.42821598129654453]
テキストを匿名化するLLM駆動置換パイプラインをオンプレミスで開発する。プライバシー、セマンティックユーティリティ、およびプライバシー下でのトレーサビリティを測定します。提案手法は,最先端のプライバシ,トピックドリフトの最小化,実効性の向上,トレーニング可能性の低下を実現する。
論文参考訳（メタデータ） (2026-03-17T23:46:15Z)
NeuroFilter: Privacy Guardrails for Conversational LLM Agents [50.75206727081996]
本研究は,エージェント型大規模言語モデル(LLM)のプライバシを強制する際の計算上の課題に対処する。 NeuroFilterは、標準違反をモデルのアクティベーション空間における単純な方向にマッピングすることで、コンテキスト整合性を運用するガードレールフレームワークである。 7Bから70Bパラメータのモデルをカバーする15万以上のインタラクションに対する包括的な評価は、NeuroFilterの強力なパフォーマンスを示している。
論文参考訳（メタデータ） (2026-01-21T05:16:50Z)
The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文参考訳（メタデータ） (2025-12-01T07:05:23Z)
AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
論文参考訳（メタデータ） (2025-10-02T02:06:30Z)
The Sum Leaks More Than Its Parts: Compositional Privacy Risks and Mitigations in Multi-Agent Collaboration [72.33801123508145]
大規模言語モデル(LLM)はマルチエージェントシステムに不可欠なものである。プライバシーリスクは、暗記、直接推論、シングルターン評価を超えて現れる。特に、相互作用によって構成される一見無害な反応は、敵が機密情報の回復を累積的に行うことができる。
論文参考訳（メタデータ） (2025-09-16T16:57:25Z)
Searching for Privacy Risks in LLM Agents via Simulation [61.229785851581504]
本稿では,プライバシクリティカルなエージェントインタラクションのシミュレーションを通じて,攻撃と防御戦略の改善を交互に行う検索ベースのフレームワークを提案する。攻撃戦略は、直接の要求から、不正行為や同意偽造といった高度な戦術へとエスカレートする。発見された攻撃と防御は、さまざまなシナリオやバックボーンモデルにまたがって伝達され、プライバシーに配慮したエージェントを構築するための強力な実用性を示している。
論文参考訳（メタデータ） (2025-08-14T17:49:09Z)
BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文参考訳（メタデータ） (2025-08-11T16:04:47Z)
Beyond Jailbreaking: Auditing Contextual Privacy in LLM Agents [43.303548143175256]
本研究では,リスクに対するエージェントの感受性を定量的に評価する,会話プライバシのための監査フレームワークを提案する。 CMPL(Conversational Manipulation for Privacy Leakage)フレームワークは、厳格なプライバシー命令を強制するエージェントをストレステストするために設計されている。
論文参考訳（メタデータ） (2025-06-11T20:47:37Z)
LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage [78.33839735526769]
LeakAgentは、プライバシー漏洩のための新しいブラックボックスレッドチームフレームワークである。我々のフレームワークは、敵のプロンプトを生成するための攻撃エージェントとして強化学習を通じてオープンソースのLLMを訓練する。我々は,LeakAgentが既存のルールベースのデータ抽出手法と,システムリーク時の自動手法を著しく上回っていることを示す。
論文参考訳（メタデータ） (2024-12-07T20:09:01Z)
Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
論文参考訳（メタデータ） (2024-12-05T18:38:30Z)
Air Gap: Protecting Privacy-Conscious Conversational Agents [44.04662124191715]
敵のサードパーティアプリがインタラクションのコンテキストを操作して,LDMベースのエージェントを騙して,そのタスクに関係のない個人情報を明らかにする,新たな脅威モデルを導入する。本研究では,特定のタスクに必要なデータのみへのアクセスを制限することで,意図しないデータ漏洩を防止するために設計されたプライバシ意識エージェントであるAirGapAgentを紹介する。
論文参考訳（メタデータ） (2024-05-08T16:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。