論文の概要: Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication
- arxiv url: http://arxiv.org/abs/2608.19161v1
- Date: Wed, 19 Aug 2026 17:43:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.481375
- Title: Beyond the Transcript: Detecting Covert Co ordination in Latent Multi-Agent Communication
- Title(参考訳): トランスクリプトを超えて:潜在マルチエージェント通信におけるカバートコオーディションの検出
- Abstract要約: 言語モデルエージェントは、公開文書で見えない連続的な隠れた状態を通じて通信することができる。
本稿では,これらのプライベート通信チャネルの監視とステアリングのためのアクティベーション対応フレームワークであるVerifiable Latent Alignments (VLA)を紹介する。
- 参考スコア(独自算出の注目度): 19.840551611758247
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model agents can communicate through continuous hidden states that are invisible in public transcripts, creating opportunities for covert harmful coordination. We introduce Verifiable Latent Alignments (VLA), an activation-aware framework for monitoring and steering these private communication channels. For every monitored decision, VLA links the private latent-state record and channel status to the resulting public action using a shared event identifier, enabling matched causal analysis. Our first contribution is a neutral-only three-layer monitor combining representation anomaly detection, counterfactual action-distribution influence, and sparse-autoencoder interpretation support. Our second contribution is a steerability framework spanning black-box behavioral instructions and white-box matched-neutral counterfactuals. Our third contribution is an evaluation on a controlled multi-agent auction benchmark covering homogeneous and heterogeneous model pairs, many-agent scalability, and intervention effectiveness. The sequential monitor achieves mean area under the receiver operating characteristic curve (AUROC) of 0.993 for homogeneous agents and 0.854 for heterogeneous pairs when text- and latent-collusion rows are pooled as positives. In Qwen3-0.6B auctions with 25-100 bidders, monitoring requires only a small normalized load relative to all possible directed pairs, while full white-box steering achieves 100% bid-distribution recovery and reduces collusive low-bid behavior by 47.3 percentage points. Because full white-box steering replays the matched neutral counterfactual, its exact recovery is a sanity check by construction. Overall, the controlled study shows that the evaluated private channel attacks can be monitored without training the primary monitor on attack examples and mitigated when matched counterfactual access is available.
- Abstract(参考訳): 言語モデルエージェントは、公文書に見えない連続的な隠れた状態を通してコミュニケーションし、有害な協調を隠蔽する機会を生み出すことができる。
本稿では,これらのプライベート通信チャネルの監視とステアリングのためのアクティベーション対応フレームワークであるVerifiable Latent Alignments (VLA)を紹介する。
監視されたすべての決定に対して、VLAはプライベートな潜在状態レコードとチャネルステータスを共有イベント識別子を使用して公開アクションにリンクし、マッチした因果解析を可能にする。
最初のコントリビューションは、表現異常検出、反事実行動分布の影響、スパース・オートエンコーダ解釈支援を組み合わせた中性のみの3層モニタである。
第2のコントリビューションは、ブラックボックスの動作指示とホワイトボックスのマッチしたニュートラルカウンターファクトにまたがるステアビリティフレームワークです。
第3のコントリビューションは、同種モデルペアと異種モデルペア、マルチエージェントスケーラビリティ、介入効果をカバーする、制御されたマルチエージェントオークションベンチマークの評価である。
シーケンシャルモニタは、同種剤の0.993の受信動作特性曲線(AUROC)の平均領域と、テキストとラテントコロシアン行を正にプールする場合の異種ペアの0.854の平均領域を達成する。
Qwen3-0.6Bの競売では25-100の競売が行われたが、監視には全ての有向対と比較して小さな正規化負荷しか必要とせず、一方フルホワイトボックスステアリングは100%の入札分配リカバリを実現し、47.3ポイントの妥協的低バイアス挙動を減少させる。
フルホワイトボックスのステアリングは、マッチした中性カウンターファクトを再生するため、その正確な回復は建設による健全性チェックである。
制御された研究では、評価されたプライベートチャネル攻撃は、攻撃事例の一次監視を訓練することなく監視でき、一致した対物アクセスが利用可能であれば軽減できることを示した。
関連論文リスト
- TrustVLA: Mechanism-Guided Inference-Time Defense Against Vision-Language-Action Backdoors [54.12833308568015]
VLA(Vision-Language-Action)モデルは、エンドユーザが監査できないパイプラインを通じてデプロイされる。
小さな視覚トリガーは、障害が観測可能である前に、長い水平ロボットポリシーをリダイレクトする。
個別に提案した2つのVLA攻撃を通してこのギャップについて検討した。
論文 参考訳(メタデータ) (2026-07-14T09:43:52Z) - Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages [0.7252027234425333]
我々は、信頼できない政策家族を制御軸とし、家族間のAUROCを、各家族のサボタージュがいかに明白であるかに分解する。
コードバックドアの書き起こしでは、相互作用は肯定的であり、支配的なコンファウンドを生き残る。
ギャップに作用する4段階のプロトコルを,各ステップで測定結果を出力する。
論文 参考訳(メタデータ) (2026-07-06T22:40:07Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-06-09T16:24:16Z) - The Distributed Detectability Band Against Marginal-Preserving Attacks [0.0]
AIコントロールは、個々のエージェントアクションをスコアし、誤った振る舞いを検出する。
本当の害は、多くの良心的なステップに分散することができ、各ステップ毎のアラームよりそれぞれ低い。
我々は、限界保存、相関符号化された分散サボタージュ攻撃を構築する。
論文 参考訳(メタデータ) (2026-06-09T06:04:30Z) - Counterfactual Likelihood Tests for Indirect Influence in Private Reasoning Channels [51.56484100374058]
本稿では,私的推論チャネル間の影響を測定するための実証実験について述べる。
この方法は、上流のプライベートブロックを長さマッチングドナーブロックに置き換え、公開トークンシーケンスと下流ターゲットを固定し、下流ターゲットの負のログに似たシフトを測定する。
論文 参考訳(メタデータ) (2026-05-18T20:27:43Z) - Securing Multimodal AI through Internal Information Decomposition [43.51030662124641]
マルチモーダルな言語モデルは、単調なシステムに存在しない攻撃面を導入している。
本稿では,内部のマルチモーダル一貫性を監視して有害な入力を検出する軽量な推論時間フレームワークであるFlowGuardを提案する。
本研究は,マルチモーダル推論において,クロスモーダル整合性監視が効率的かつ効果的に防御できることを示す。
論文 参考訳(メタデータ) (2026-05-03T19:21:06Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳(メタデータ) (2026-04-07T17:43:18Z) - TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol [1.0195618602298684]
TraceGuardは5次元にわたるエージェントアクションを評価する構造化多次元監視プロトコルである。
オープンソースのControlArenaフレームワーク用の新しいモニタタイプとして実装されている。
論文 参考訳(メタデータ) (2026-04-05T05:05:59Z) - Fair Deepfake Detectors Can Generalize [51.21167546843708]
共同設立者(データ分散とモデルキャパシティ)の制御により,公正な介入による一般化が向上することを示す。
この知見を応用して, 逆正当性重み付けとサブグループワイド特徴正規化を併用し, 新たなアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・インセンティブ・インターベンション・インベンション・インテクション(DAID)を提案する。
DAIDは、いくつかの最先端技術と比較して、公平性と一般化の両方において一貫して優れた性能を達成する
論文 参考訳(メタデータ) (2025-07-03T14:10:02Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳(メタデータ) (2025-05-29T15:47:36Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳(メタデータ) (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。