論文の概要: Covert Assistance: Helpful LLM Agents Evade Oversight in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2609.39050v1
- Date: Wed, 30 Sep 2026 05:57:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.249493
- Title: Covert Assistance: Helpful LLM Agents Evade Oversight in Multi-Agent Systems
- Title（参考訳）: カバーアシスト:多エージェントシステムにおけるヘルプフルLCMエージェントの監視
- Abstract要約: 我々は、良性エージェントが敵のインセンティブを伴わずに、同じ境界を越えることができることを示す。
ソフトウェアエンジニアリングですでに使用されているモデルにおいて、リスクは、承認された協力とタスク改善支援を区別するために、監督に挑戦する。
- 参考スコア（独自算出の注目度）: 14.1738537810481
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As multi-agent systems enter high-stakes domains, the possibility that agents may circumvent safety boundaries is a growing concern. Prior work has examined this risk primarily in adversarial settings, where agents are instructed or rewarded to communicate covertly and evade oversight. We show that benign agents can cross the same boundaries without adversarial incentives. We emulate a software-engineering workflow in which a planner represents a company hiring an external developer. The planner writes requirements and holds a company credential it is instructed not to disclose to the developer; a monitor screens their exchanges. Seven of nine tested frontier models disguise the credential in their requirements to help the developer recover it while evading the monitor, even after completing their assigned objective. For example, across 6,000 episodes with DeepSeek-V4-Pro, the planner attempts concealment in 16.9%; in 0.9%, the credential evades the monitor and is recovered and used by the developer. Despite the low per-episode rate, the risk compounds across repeated exchanges: at 0.9%, 105 independent episodes carry a 61.3% chance of at least one breach. Our analysis suggests that the planner misinterprets disguised disclosure as helping the developer and reads the nondisclosure rule as banning plaintext, not character codes or riddles. We call this behavior covert assistance. Monitoring favors concealment, while concealment gives way to direct disclosure when the recipient is presented as a human rather than an AI agent, so leakage persists. Giving the monitor the credential improves detection but requires trusting it with the secret. These risks, in models already used for software engineering, challenge oversight to distinguish authorized cooperation from task-advancing assistance that crosses safety boundaries.
- Abstract（参考訳）: マルチエージェントシステムがハイテイクドメインに入ると、エージェントが安全境界を回避できる可能性は増大する。
以前の研究では、主に敵の状況でこのリスクを調べており、エージェントは秘密裏にコミュニケーションし、監視を逃れるよう指示されたり、報酬を受けたりしている。
我々は、良性エージェントが敵のインセンティブを伴わずに、同じ境界を越えることができることを示す。
計画立案者が外部開発者を雇用する企業を表すソフトウェアエンジニアリングワークフローをエミュレートする。
プランナーは要求を書き、デベロッパーに公開しないよう指示された企業クレデンシャルを保持する。
9つのテストされたフロンティアモデルのうち7つは、指定した目的を完了した後でも、開発者がモニターを回避しながらそれを回復するのを助けるために、要求を偽装した。
例えば、DeepSeek-V4-Proで6000回にわたって、プランナーは16.9%で隠蔽を試みる。
エピソード当たりのリスクは低いが、0.9%で105回の独立したエピソードが61.3%の確率で少なくとも1回は違反する可能性がある。
我々の分析は、プランナーが開示の偽装を開発者を助けるものと誤解し、非開示ルールを文字コードや謎ではなく、平文の禁止として読むことを示唆している。
私たちはこの行動を隠蔽援助と呼ぶ。
監視は隠蔽を好むが、隠蔽は、受信者がAIエージェントではなく人間として提示された際に直接開示する手段を与えるため、漏洩は持続する。
モニターを与えると、クレデンシャルは検出を改善するが、秘密でそれを信頼する必要がある。
これらのリスクは、ソフトウェアエンジニアリングですでに使用されているモデルにおいて、安全境界を越えたタスク改善支援と承認された協力を区別する上での課題である。
関連論文リスト
- Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents [2.821981058413775]
運用システムは、実行前にそれを拒否できるブロッキングモニタを使用して、提案されたアクションをレビューする。
コーディングエージェントがレールから外れないようにするために、プロダクションシステムは、提案されたアクションをブロックモニターでレビューし、実行前にそれを拒否する。
高いレベルの攻撃戦略を指導すると、敵エージェントはいくつかの異なるメカニズムで成功できることがわかった。
論文 参考訳（メタデータ） (2026-09-17T02:14:53Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳（メタデータ） (2026-06-21T21:13:55Z) - BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。
我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
論文 参考訳（メタデータ） (2026-05-31T11:16:18Z) - Stateful Online Monitoring Catches Distributed Agent Attacks [63.00394432922707]
我々は、リアルタイムクラスタリングを用いて、多くのエージェントの転写にまたがる弱い疑わしい信号を収集するオンラインステートフルモニターを開発した。
本研究の結果は,孤立したテキストではなく,ユーザグループを優先する,新たな安全モニタのクラスに向けられたものである。
論文 参考訳（メタデータ） (2026-05-29T17:57:00Z) - When can we trust untrusted monitoring? A safety case sketch across collusion strategies [43.912646993501106]
プリデプロイテストに基づく安全性の厳格な実証方法を開発した。
我々は、受動的自己認識、因果共謀(隠蔽された信号)、因果共謀(スケジューリングポイント経由の隠蔽信号)、複合戦略を含む分類学を開発する。
論文 参考訳（メタデータ） (2026-02-24T07:23:21Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Too Helpful to Be Safe: User-Mediated Attacks on Planning and Web-Use Agents [3.7549350220109274]
我々は、不正なユーザーを騙して信頼できないコンテンツや攻撃者が制御するコンテンツをエージェントに中継する、ユーザー介在型攻撃について研究する。
サンドボックス環境における12の商業エージェントの系統的評価を行う。
以上の結果から,エージェントはデフォルトでは安全でありすぎることが示唆された。
論文 参考訳（メタデータ） (2026-01-14T03:29:13Z) - Among Us: A Sandbox for Measuring and Detecting Agentic Deception [1.1893676124374688]
我々は、言語ベースのエージェントが長期的かつオープンな偽装を示す社会的偽装ゲームである$textitAmong Us$を紹介した。
RLで訓練されたモデルは、検出するよりも、比較的優れた騙しを生み出すことが分かりました。
また、2つのSAE機能は、偽造検出でうまく機能するが、モデルがより少ない嘘をつくように操ることができない。
論文 参考訳（メタデータ） (2025-04-05T06:09:32Z) - Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation [56.102976602468615]
エージェントコーディング環境における報酬ハッキングのために,OpenAI o3-miniのようなフロンティア推論モデルを監視することができることを示す。
最適化が多すぎると、エージェントは難解な報酬のハッキングを学び、その意図を思考の連鎖の中に隠してしまう。
論文 参考訳（メタデータ） (2025-03-14T23:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。