論文の概要: Detecting Covert Collusion between AI Agents through Partner-Outsider Positive Listening
- arxiv url: http://arxiv.org/abs/2610.37849v1
- Date: Tue, 27 Oct 2026 18:57:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.902903
- Title: Detecting Covert Collusion between AI Agents through Partner-Outsider Positive Listening
- Title(参考訳): パートナー・アウトサイダーの肯定的聴取によるAIエージェント間の包括的衝突の検出
- Abstract要約: 我々は、振る舞いテストを提案する: コードを使用するパートナーは、メッセージの正確な表現に反応するが、その席に置かれた非関連エージェントは反応しない。
PoPLiは、メッセージが意味を保ったままリワードされると、アクションがどれだけ変わるかという2つのエージェントの違いである。
メッセージのみのモニターは条件を分けなかった: スピーカーのメッセージを読む人は50の市場で「ノー」と答え、売り手のメッセージを読む人は10の市場のうち9のマーケットで共謀なく警告した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents that share a secret convention can coordinate through messages that look innocent, so a monitor that reads only the messages can miss them. We propose a behavioural test: a partner that uses a code reacts to the exact wording of a message, whereas an uninvolved agent placed in its seat does not. Partner--Outsider Positive Listening (PoPLi) is the difference between the two agents in how much their action changes when the message is reworded with its meaning kept, and it is computed after the fact by replaying logged prompts. In a simulated market with five conditions (no collusion, a joint reward with neutral messages, the same with an openly stated intention, a covert first-letter code, and the code with a stated intention), PoPLi is between 0.48 and 0.59 whenever the code is present (95% intervals all above 0.29) and between -0.10 and -0.01 without it. Message-only monitors did not separate the conditions: one reading the speaker's messages answered "no" in all 50 markets, and one reading every seller's messages flagged 9 of 10 markets with no collusion. PoPLi detects the use of a private channel, not collusion as such, and it cannot detect collusion through incentives alone or codes carried by meaning.
- Abstract(参考訳): 秘密の規約を共有するAIエージェントは、無実に見えるメッセージを通して調整することができる。
我々は、振る舞いテストを提案する: コードを使用するパートナーは、メッセージの正確な表現に反応するが、その席に置かれた非関連エージェントは反応しない。
Partner--Outsider Positive Listening (PoPLi) は、メッセージが意味を保ったままリワードされたときにアクションがどれだけ変わるかという2つのエージェントの差であり、ログされたプロンプトを再生することで計算される。
5つの条件(共謀、中立メッセージによる共同報酬、公然と明記された意図、秘密のファーストレターコード、そして明記された意図を持つコード)を持つ模擬市場において、PoPLiはコードが存在するたびに0.48から0.59であり(すべての0.29を超える95%間隔)、それなしでは-0.10から-0.01の間である。
メッセージのみのモニターは条件を分けなかった: スピーカーのメッセージを読む人は50の市場で「ノー」と答え、売り手のメッセージを読む人は10の市場のうち9のマーケットで共謀なく警告した。
PoPLiは、私的なチャネルの使用を検知するが、それではなく、インセンティブだけでは、あるいは意味によって実行されるコードによって、共謀を検出することはできない。
関連論文リスト
- Compaction Laundering: Provenance Destruction in Context-Compacting Coding Agents [0.0]
私たちは、人気のあるオープンソースコーディングエージェントにおいて、このステップが悪用可能な信頼境界であることを示しています。
エージェントが読み取ったものを何でも制御する攻撃者は、真の命令としてコンパクト化に耐えるユーザターンをフォージすることができる。
コードレベルの前処理チェックを計測し、洗浄の77%をキャッチし、合法的な要約コンテンツの2%をデモする。
論文 参考訳(メタデータ) (2026-10-21T15:24:23Z) - Don't Judge an Agent by Its Messages: Private-State Leakage under Passive Monitoring of Agent Communication [0.5219568203653523]
AIエージェントは、タスクが決して必要としなかったプライベート情報を開示しながら、そのメッセージと受信者のタスク結果の分散を再現することができる。
我々は、監査人が許可された送信者と正確に観察可能な法律を知っているが、その裏にある私的国家と信頼できるメッセージのペアを持たない場合に、受動的監査が何を証明できるかを尋ねる。
論文 参考訳(メタデータ) (2026-10-18T05:43:30Z) - When AI Finds Hidden Messages, Does It Report? [2.286543710998786]
無害で有害なメッセージは、メッセージコントロールのないROT13バージョンと一致している。
レポートの要求は、別のAIを受信者として識別するルール検出通知を増加させる。
論文 参考訳(メタデータ) (2026-10-07T08:32:07Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳(メタデータ) (2026-10-02T09:35:59Z) - Assay: Claims That Decay With the Code. Content-Addressed Evidence Graphs for Accountable AI-Assisted Software Delivery [0.0]
我々はAIコーディングエージェントのための依存性のないツールを開発した。
エージェントが行うすべてのクレーム(テストはパスせず、シークレットも保存されない)は、それがカバーするコードの依存性コーンのMerkleハッシュに結びついています。
我々は、結合は音で最小限であり、変化の爆発半径は、それが無効化する主張の集合であることを示した。
論文 参考訳(メタデータ) (2026-09-28T19:40:35Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - Lies We Can See: Joint Verbal and Non-Verbal Deception by VLM Agents in Embodied Social Interactions [66.7908338529737]
LLMとVLMのエージェントによる戦略的な騙しは、AIのアライメントと安全性の懸念の中心として現れている。
既存のテストベッドはテキストのみであり、単一の固定エージェント構成で実行される。
我々は,MineAmongUsを紹介した。これはUsサンドボックス内の3次元マルチモーダルで,インポスタエージェントは共同弁論と非言語行動を通じて乗組員を騙さなければならない。
論文 参考訳(メタデータ) (2026-08-31T08:24:29Z) - Wrong but Useful: Trajectory Value Beyond Answer Correctness in Multi-Agent Messages [44.340269814027174]
マルチエージェント推論システムは、合意、信頼、あるいは自動スコアを使用して、どのメッセージが最終回答になるかを決定する。
しかし、間違った答えは、有用な分解、制約、または科学的原理を含むことができる。
この区別は、5つの独立に生成されたメッセージをキャッシュする制御された測定プロトコルであるDHD(Diverse hypothesis Deliberation)で検証する。
論文 参考訳(メタデータ) (2026-08-14T15:16:57Z) - Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems [55.51100373104311]
マルチエージェント設定におけるLLMエージェントの協調動作を監査するためのフレームワークであるColosseumを提案する。
コロッセウムは、異なる目的、説得戦術、ネットワークトポロジの下で、それぞれのLSMを照合するためにテストする。
我々は、エージェントがテキストでコラージュするが、しばしば非コラージュ的な行動を選ぶときに、論文上での「共謀」を発見する。
論文 参考訳(メタデータ) (2026-02-16T21:27:38Z) - AutoReply: Detecting Nonsense in Dialogue Introspectively with
Discriminative Replies [71.62832112141913]
対話モデルは、不適切なメッセージを示す応答の確率を計算し、内観的に自分のメッセージの誤りを検出することができることを示す。
まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。
AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作することがわかった。
論文 参考訳(メタデータ) (2022-11-22T22:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。