論文の概要: What Do Collusion Probes Read? Three Pitfalls in Evaluating Multi-Agent Collusion Monitors
- arxiv url: http://arxiv.org/abs/2611.10620v1
- Date: Sat, 07 Nov 2026 09:53:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.753132
- Title: What Do Collusion Probes Read? Three Pitfalls in Evaluating Multi-Agent Collusion Monitors
- Title(参考訳): 衝突プローブの読み方 : マルチエージェント衝突計評価における3つの落とし穴
- Abstract要約: アクティベーションプローブは、大きな言語モデル(LLM)エージェント間の秘密共謀のほぼ完璧なモニターのように見える。
エージェントがコラージュをするように指示されたことを、主に検知できることを示します。
コントロールを任意のコラシオンモニターをテストするプロトコルに変換し、スキャン統計を任意のサイズのグループのためのオンラインモニタに適応させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation probes look like near-perfect monitors for secret collusion among large language model (LLM) agents. We show that they mostly detect that an agent was told to collude, not that it decided to. Our benchmark (2,500 committee and 1,476 code-review episodes) adds agents who receive the collusion instruction and refuse it, separating instruction from decision. Published detectors barely tell colluders from these refusers, and our best probe separates them mostly by reading the instruction: without it, agent AUROC falls from 1.00 to 0.61. Two further pitfalls inflate reported results: scored after the vote, a rule that only reads the votes reaches AUROC 0.990 but finds nothing before it; and in 57% of attempts no colluder argues for the target in public. The decision is still there: a probe trained on agents' own choices reads it (AUROC 0.73 without the instruction), and probes find colluders whose goal was fine-tuned into the weights (AUROC 0.995; pre-registered). We turn the controls into a protocol for testing any collusion monitor, and adapt scan statistics into an online monitor for groups of any size.
- Abstract(参考訳): アクティベーションプローブは、大きな言語モデル(LLM)エージェント間の秘密共謀のほぼ完璧なモニターのように見える。
エージェントがコラージュをするように指示されたことを、主に検知できることを示します。
我々のベンチマーク(2500の委員会と1,476のコードレビューエピソード)は、共謀命令を受け取り拒否するエージェントを追加し、決定から指示を分離する。
公表された検出器は、これらのレトリーバーからコローダーをほとんど教えてくれず、我々の最高のプローブは、主に命令を読むことによってそれらを分離する。
さらに2つの落とし穴が報告され、投票後に採点されたルールはAUROC 0.990にしか届かなかったが、それ以前には何も見つからなかった。
エージェント自身の選択に基づいて訓練されたプローブ(AUROC 0.73)がそれを読み取り、目標を重みに微調整したコローダー(AUROC 0.995; 事前登録済み)を見つける。
コントロールを任意のコラシオンモニターをテストするプロトコルに変換し、スキャン統計を任意のサイズのグループのためのオンラインモニタに適応させる。
関連論文リスト
- What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer [1.3662128927080233]
インタクタは、呼び出すツールのトレースから、ハイジャックされた大きな言語モデル(LLM)エージェントにフラグを付けることができる。
AgentDriftとAgentDojoのベンチマークでは、ツールのアイデンティティ、振る舞い、呼び出しシーケンス、ステップ埋め込み、テキストを読むためのトレーニングされた検出をテストしています。
これらの知見を、トレース検出器を評価するためのチェックリストに変換する。
論文 参考訳(メタデータ) (2026-10-30T14:30:47Z) - Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In [0.0]
エージェントのアクティベーションに対する線形プローブは、制御されたマルチエージェント設定で可能であることを示す。
6つのシナリオにわたって、ピアはターゲットを最大20ラウンド押して、デプロイトークンなどのシークレットを明らかにする。
Qwen3-32Bの保留エピソードでは、5%の良心的呼び出しにフラグを付けるしきい値が設定されており、リークコールの82%をキャッチしている。
論文 参考訳(メタデータ) (2026-10-29T17:47:40Z) - Detecting Covert Collusion between AI Agents through Partner-Outsider Positive Listening [0.0]
我々は、振る舞いテストを提案する: コードを使用するパートナーは、メッセージの正確な表現に反応するが、その席に置かれた非関連エージェントは反応しない。
PoPLiは、メッセージが意味を保ったままリワードされると、アクションがどれだけ変わるかという2つのエージェントの違いである。
メッセージのみのモニターは条件を分けなかった: スピーカーのメッセージを読む人は50の市場で「ノー」と答え、売り手のメッセージを読む人は10の市場のうち9のマーケットで共謀なく警告した。
論文 参考訳(メタデータ) (2026-10-27T18:57:33Z) - Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors [0.629168122709476]
コントロールプロトコルは、振る舞いの監視によって不一致となる可能性のあるモデルから有用な作業を得ることを目的としています。
あるアプローチでは、モニターと同じモデルの2番目のコピーを使用します。
これにより、モデルはより弱いレビュアーに依存しないが、共謀のリスクがある。
ひとつの対策は、コントロールチームが捉えた不正行動の例をモニタに微調整することだ。
論文 参考訳(メタデータ) (2026-10-22T01:22:48Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - You Can't Escape Your Own Activations : Evaluation Awareness and Multi-Agent Monitoring [4.119847434567505]
衝突を検出するために設計された出力モニタは、難読化とステガノグラフィーによって騙されることがある。
エージェントが内部のアクティベーションを監視していることを明示的に知らせると、アクティベーションに基づく検出がどう変化するかを検討する。
論文 参考訳(メタデータ) (2026-09-02T18:07:14Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳(メタデータ) (2023-10-18T11:36:42Z) - Bandit Social Learning: Exploration under Myopic Behavior [54.767961587919075]
オンラインプラットフォーム上でのレビューによって動機付けられた社会学習のダイナミクスについて検討する。
エージェントはまとめて単純なマルチアームのバンディットプロトコルに従うが、各エージェントは探索を伴わずにミオプティカルに振る舞う。
このような振る舞いに対して,スターク学習の失敗を導出し,好意的な結果を提供する。
論文 参考訳(メタデータ) (2023-02-15T01:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。