論文の概要: Don't Judge an Agent by Its Messages: Private-State Leakage under Passive Monitoring of Agent Communication
- arxiv url: http://arxiv.org/abs/2610.25032v1
- Date: Sun, 18 Oct 2026 05:43:30 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:25:51.96815
- Title: Don't Judge an Agent by Its Messages: Private-State Leakage under Passive Monitoring of Agent Communication
- Title(参考訳): エージェントをメッセージで判断するな - エージェント通信のパッシブモニタリングによる私的状態漏洩
- Abstract要約: AIエージェントは、タスクが決して必要としなかったプライベート情報を開示しながら、そのメッセージと受信者のタスク結果の分散を再現することができる。
我々は、監査人が許可された送信者と正確に観察可能な法律を知っているが、その裏にある私的国家と信頼できるメッセージのペアを持たない場合に、受動的監査が何を証明できるかを尋ねる。
- 参考スコア(独自算出の注目度): 0.5219568203653523
- License:
- Abstract: An AI agent can reproduce the distribution of its messages and of the receiver's task outcomes while disclosing private information that the task never required. We ask what a passive audit can certify when the auditor knows the authorised sender and the exact observable law but has no trusted pairing of messages with the private states behind them. For a single round, compatible mutual-information leakage forms a sharp interval, and fixing the entire task-relevant message law, with every declared task utility, can still leave a full private bit undetermined; total leakage is determined if and only if, in every task state, the remaining private state or the authorised message is a deterministic function of that state. For a sender, such as an LLM, that selects among its own responses, we prove that in a balanced case its change to the message law within each task state equals $(1-2^{-k})$ times the honest messages' dependence on the attribute, which also sets, up to a constant, how many messages a monitor needs. With Qwen2.5-1.5B-Instruct on a synthetic routing task, selection among 16 responses lets a public decoder recover a private bit in all 8,192 held-out rounds at 98.60\% routing accuracy (honest sender 98.90\%). A monitor that knows the selection rule reaches AUC 0.645 on single messages, close to the ceiling of 0.671 that honest messages predict, and 0.972 over 16, while generic monitors stay near chance. A law-preserving sender built from the same samples recovers the bit in 97.7\% of rounds, and every monitor without the true bit stays near chance against it. A canonical task interface preserves every receiver decision and bounds the remaining information about a balanced attribute by twice the routing-error rate, even for a receiver that shares a key with the sender. These results distinguish what passive auditing can certify from what restricting communication can enforce.
- Abstract(参考訳): AIエージェントは、タスクが決して必要としなかったプライベート情報を開示しながら、そのメッセージと受信者のタスク結果の分散を再現することができる。
我々は、監査人が許可された送信者と正確に観察可能な法律を知っているが、その裏にある私的国家と信頼できるメッセージのペアを持たない場合に、受動的監査が何を証明できるかを尋ねる。
単一ラウンドの場合、互換性のある相互情報漏洩は急激な間隔を形成し、宣言されたすべてのタスクユーティリティでタスク関連メッセージ法全体を修正しても完全なプライベートビットを未決定のまま残すことができる。
LLMのような、それぞれのレスポンスの中から選択する送信者に対して、バランスの取れたケースでは、各タスク状態内のメッセージ法則への変更は、1-2^{-k})$倍の$で、その属性への正直なメッセージの依存は、モニターが必要とするメッセージ数まで一定に設定されていることを証明します。
合成ルーティングタスクのQwen2.5-1.5B-Instructでは、16の応答の選択により、パブリックデコーダは98.60\%のルーティング精度で8,192ラウンドのプライベートビットを復元できる(最も高い送信者98.90\%)。
選択規則を知っているモニターは、1つのメッセージでAUC 0.645に到達し、正直なメッセージが予測する0.671の天井に近づき、16以上の0.972の一般的なモニターはチャンスに近づいた。
同じサンプルから作られた法保存送信機は97.7%のラウンドでビットを回収し、真のビットを持たないすべてのモニターはそれに対してほぼチャンスを保っている。
標準タスクインタフェースは、すべての受信者決定を保存し、キーを送信者と共有する受信者であっても、バランスの取れた属性に関する残りの情報を2倍のルーティングエラー率でバウンドする。
これらの結果は、受動的監査が行うべきことと、コミュニケーションを制限することができることとを区別する。
関連論文リスト
- When AI Finds Hidden Messages, Does It Report? [2.286543710998786]
無害で有害なメッセージは、メッセージコントロールのないROT13バージョンと一致している。
レポートの要求は、別のAIを受信者として識別するルール検出通知を増加させる。
論文 参考訳(メタデータ) (2026-10-07T08:32:07Z) - When Tools Lie: Reliability of Mathematical Agents Under Corrupted Tool Feedback [0.0]
隠されたインターセプターが、破損したツールコールの結果を、ターゲットとする問題に関する確実な誤った情報に置き換える方法を示す。
検証がなければ、破壊は劇的な精度の低下を引き起こし、100%から72.4%に低下する。
強制的なポリシーは検証を強制するが、オプション的なポリシーはそれを呼び出すためのモデル自身の選択に依存する。
論文 参考訳(メタデータ) (2026-10-06T10:28:19Z) - Bayes-Sufficient Compression Is Not Enough: How Does Communication Help Multi-Agent Systems? [37.57535830364468]
マルチエージェントLLMシステムは、広いコンテキストの送信者と限られたローカルビューのエグゼキュータをペアにしている。
我々は、短いメッセージが実行者の次の決定を改善するとき、生のコンテキストが望ましいとき、より強い送信者が助けられるときについて調査する。
論文 参考訳(メタデータ) (2026-09-29T03:43:59Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - A Gmail-Based Phishing Detection Prototype for Nigerian Fintech Emails Using Sender Checks and BiLSTM Classification [0.0]
ナイジェリアのプロバイダを偽造するフィッシングメールは、偽りの送信者アドレス、ルックアライクなリンク、そして現地で親しみやすい言語を組み合わせることができる。
本稿では,送信側ドメインとURLチェックを双方向短期メモリ(BiLSTM)分類器に統合するGmailブラウザエクステンションを提案する。
論文 参考訳(メタデータ) (2026-09-23T15:51:09Z) - AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes [38.37599802008238]
商用LLM APIは特定の基盤モデルを宣伝するが、提供されたバックボーンは静かに代用され、定量化され、あるいはラップされることがある。
既存の監査はすべて、テキスト出力チャネルからバックボーンアイデンティティを決定する。
本稿では,AgentProv(AgentProv)について紹介する。
論文 参考訳(メタデータ) (2026-08-30T08:22:12Z) - $Z^2$-ACT: End-to-End Verifiable Agentic Intent Control for Open 6G RAN [43.15181031994434]
本稿では,ゼロ知識監査制御とゼロ信頼検証エージェントインテントアーキテクチャを提案する。
実大規模言語モデルは、オペレータの意図をIntent Contractsに変換するために、非リアルタイムパスで使用される。
その結果、動作フィルタリングと攻撃レジリエンスを適度なレイテンシとシグナリングコストで改善したことが示唆された。
論文 参考訳(メタデータ) (2026-08-21T12:44:03Z) - Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages [44.340269814027174]
マルチエージェント推論システムは、合意、信頼、あるいは自動スコアを使用して、どのメッセージが最終回答になるかを決定する。
しかし、間違った答えは、有用な分解、制約、または科学的原理を含むことができる。
この区別は、5つの独立に生成されたメッセージをキャッシュする制御された測定プロトコルであるDHD(Diverse hypothesis Deliberation)で検証する。
論文 参考訳(メタデータ) (2026-08-14T15:16:57Z) - Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale [0.0]
We present a three-stage selection pipeline for Helpmate, Wix's customer-care assistant。
リコール指向セマンティックマーカは、アカウントの状態を参照せずに10スキルドメインファミリーに関連するメッセージを識別する。
決定論的実行性ゲートは、内部ハードストップ条件が保持されている候補を除去する。
論文 参考訳(メタデータ) (2026-08-02T07:32:49Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳(メタデータ) (2026-06-22T11:36:58Z) - OCELOT: Inference-Leakage Budgets for Privacy-Preserving LLM Agents [32.5466552510287]
漏れは累積的であり、個々に無害な放出は、正直だが、真正に曲がりくねった流しに蓄積される。
我々は、秘密に対する敵の信念がどれほど改善するかを予算化するランタイム仲介者であるOCELOTを提示する。
OCELOTは高いタスクユーティリティでのリークを著しく低減し、適応注入、ジェイルブレイク、累積推論、シンク共謀に抵抗する。
論文 参考訳(メタデータ) (2026-06-10T17:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。