論文の概要: Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In
- arxiv url: http://arxiv.org/abs/2610.40588v1
- Date: Thu, 29 Oct 2026 17:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.130085
- Title: Pre-Crime for Agents, at the Last Second: Probing When a Recruited Agent Gives In
- Title(参考訳): エージェントのための前犯罪:最後の2回は、リクルートされたエージェントが入ったときの証拠
- Abstract要約: エージェントのアクティベーションに対する線形プローブは、制御されたマルチエージェント設定で可能であることを示す。
6つのシナリオにわたって、ピアはターゲットを最大20ラウンド押して、デプロイトークンなどのシークレットを明らかにする。
Qwen3-32Bの保留エピソードでは、5%の良心的呼び出しにフラグを付けるしきい値が設定されており、リークコールの82%をキャッチしている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When AI agents share channels and credentials, one agent can press another to break its operator's rule, a first step towards collusion. Output filters check only what an agent has already written. Can an overseer tell beforehand that an agent is about to give in? We show that a linear probe on the agent's activations can, in a controlled multi-agent setting. Across six scenarios, a peer presses a target for up to 20 rounds to reveal a secret, such as a deploy token; the target often refuses, then gives in. Read at each model call before its output is written, the probe picks out the one that leaks. On held-out Qwen3-32B episodes, at a threshold set to flag 5% of benign calls, it catches 82% of leaking calls. At a similar flag rate, a zero-shot decision-model monitor catches 26%. On gpt-oss-20b, a probe on its reasoning reaches AUROC 0.91. A bag-of-words classifier trained on the same calls comes close, so most of the gain comes from training on labels, not activations. The probe also flags permitted disclosures: it reads the coming disclosure more than the violation. The warning is short-range, and halting on any alarm would stop most benign episodes, which a second text check does not fix. A warning raised before generation could let an overseer stop an agent that is about to give in, ahead of others acting on its messages or recruitment spreading through a swarm.
- Abstract(参考訳): AIエージェントがチャネルと資格を共有すると、あるエージェントが別のエージェントを押してオペレータのルールを破ることができる。
出力フィルタは、エージェントがすでに書いたもののみをチェックする。
監督官は、エージェントが降伏しようとしていることを事前に伝えられますか?
エージェントのアクティベーションに対する線形プローブは、制御されたマルチエージェント設定で可能であることを示す。
6つのシナリオにわたって、ピアはターゲットを最大20ラウンド押して、デプロイトークンなどのシークレットを明らかにします。
出力が書き込まれる前に各モデルコールを読み込むと、プローブはリークした呼び出しを抽出する。
Qwen3-32Bの保留エピソードでは、5%の良心的呼び出しにフラグを付けるしきい値が設定されており、リークコールの82%をキャッチしている。
同様のフラグレートでは、ゼロショット決定モデルモニターが26%をキャッチする。
gpt-oss-20bでは、AUROC 0.91に達する。
同じ呼び出しでトレーニングされたback-of-words分類器が近くなるので、ほとんどの利益はアクティベーションではなくラベルでのトレーニングから得られる。
捜査員はまた、開示を許可するフラグも掲げている。
警告は短距離であり、アラームを停止するとほとんどの良質なエピソードが停止する。
世代前に提起された警告は、監視官がメッセージに反応する他のエージェントや、群れを通じて拡散するリクルートに先立って、降伏しようとしているエージェントを停止させる可能性がある。
関連論文リスト
- Agent or Human? Detecting Commits by AI Coding Agents in the Absence of Authorship Signatures [8.853644922970307]
Claude Code、GitHub Copilotコーディングエージェント、Cursorがオープンソースリポジトリに直接コミットした。
オーサシップシグネチャはオプションで削除可能で、個々のコミットではなくプルリクエストにアタッチされることが多い。
1,226リポジトリの7,837,946コミットを用いて,シグネチャフリー検出の信号と限界について検討した。
論文 参考訳(メタデータ) (2026-10-26T20:08:18Z) - Compaction Laundering: Provenance Destruction in Context-Compacting Coding Agents [0.0]
私たちは、人気のあるオープンソースコーディングエージェントにおいて、このステップが悪用可能な信頼境界であることを示しています。
エージェントが読み取ったものを何でも制御する攻撃者は、真の命令としてコンパクト化に耐えるユーザターンをフォージすることができる。
コードレベルの前処理チェックを計測し、洗浄の77%をキャッチし、合法的な要約コンテンツの2%をデモする。
論文 参考訳(メタデータ) (2026-10-21T15:24:23Z) - Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents [10.493000314031077]
大規模言語モデル(LLM)エージェントは、ソフトウェア開発ライフサイクルの不可欠な部分になりつつある。
修正されていない不透明なエージェントの分離境界における参照モニタであるKairosを提示する。
どの情報源が信頼されているかを記述する宣言的政策は、ほとんどの効果を決定論的に決定し、残りを無視し、エージェントが投機的に継続する間に保持される。
論文 参考訳(メタデータ) (2026-10-13T14:24:26Z) - Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? [64.13250261774849]
私たちは、共有ワークスペースの周りに、ヒューマンガイダンスとエージェント実行を構造化するコラボレーティブワークフローを構築します。
エージェントが何を自動化するかを測定するため、我々は公開レシピに対して段階的に軌道ステージを監査する。
以上の結果から, エージェントは不特定レシピを回収し, 改良し, 失速した場合には, 文献を調査し, LMキャリアからフローキャリアへピボットすることがわかった。
論文 参考訳(メタデータ) (2026-10-03T12:44:09Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳(メタデータ) (2026-10-02T09:35:59Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。
報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。
プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
論文 参考訳(メタデータ) (2026-09-21T01:21:06Z) - You Can't Escape Your Own Activations : Evaluation Awareness and Multi-Agent Monitoring [4.119847434567505]
衝突を検出するために設計された出力モニタは、難読化とステガノグラフィーによって騙されることがある。
エージェントが内部のアクティベーションを監視していることを明示的に知らせると、アクティベーションに基づく検出がどう変化するかを検討する。
論文 参考訳(メタデータ) (2026-09-02T18:07:14Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳(メタデータ) (2026-07-27T11:45:14Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳(メタデータ) (2026-06-22T11:36:58Z) - PrivacyPeek: Auditing What LLM-Based Agents Acquire, Not Just What They Say [48.84133320567554]
LLMベースのエージェントは急速に進歩し、ユーザーのタスクを完了させるために外部ツールを自律的に呼び出している。
既存のプライバシベンチマークは、エージェントの応答や外部アクションが開示するものを監査するが、データがエージェントのコンテキストに最初に入力される取得ステージを見落としている。
LLMエージェントの取得段階のプライバシー漏洩を評価するベンチマークであるemphPrivacyPeekを紹介する。
論文 参考訳(メタデータ) (2026-05-29T04:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。