論文の概要: Mitigating Agentic Deception via Evaluation-Side Partially Observable Games
- arxiv url: http://arxiv.org/abs/2611.12835v1
- Date: Mon, 09 Nov 2026 18:33:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.446023
- Title: Mitigating Agentic Deception via Evaluation-Side Partially Observable Games
- Title(参考訳): 評価側部分観察ゲームによるエージェント誤認の軽減
- Abstract要約: 評価側部分観察可能な多角形ゲーム(e-PoG)としての偽装緩和の定式化
e-PoGは、エージェントが報酬を最大化し、モニターがエージェントの支払いを最小化し、固定検証器がモニターのクレームを検証し、それらを罰則に変換する最大限のフレームワークである。
Gemma3-4B-ITとQwen3-4B/8Bによるエージェントロールプレイング、サーチQA、WebShopの実験では、e-PoGは複数の創発的偽装モードを持ち、26.2%の偽装緩和、39.8%のタスク成功率で最強のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 48.59057545529439
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models become more capable agents, they can exhibit deceptive behaviors, cheating human for higher rewards while appearing helpful. We attribute this failure to evaluation-side partial observability, where models are evaluated mainly from final outcome, without checking the faithfulness of underlying reasoning, tool use, and environmental effects. Prior mitigations address this partial observability by predefined evaluator latent belief space or one-shot monitoring, which do not extend to free-form language space and vulnerable to stronger deceptions that evade simple monitoring. In this work, we formulate deception mitigation as an Evaluation-Side Partially Observable Extensive Form Game (e-PoG), a max-min framework in which an agent maximizes reward, a monitor minimizes the agent's payoff by exposing deception from the full interaction trajectory, and a fixed verifier validates the monitor's claims and converts them into penalties. We define the solution concept as a Subgame-Perfect Oversight Equilibrium (SPOE) between agent and monitor, and prove its existence in finite games. With a perfect verifier, every SPOE is faithful; with an imperfect verifier, the guarantee persists if verifier errors do not reverse the ranking of monitor actions. To achieve faithful SPOE, we derive a two-timescale policy gradient algorithm and enhance the pipeline empirically with NLI verification and deterministic checks. Experiments with Gemma3-4B-IT and Qwen3-4B/8B on Agentic Role-Playing, SearchQA, and WebShop show that e-PoG mitigates multiple emergent deception modes, outperforming the strongest baselines by 26.0% in deception mitigation and by up to 39.8% in task success. These gains persist under weak-to-strong supervision. Code is available at https://github.com/Toyoid/deceptive-agent.
- Abstract(参考訳): 大型の言語モデルがより有能なエージェントになるにつれて、偽りの行動を示し、人間を騙してより高い報酬を得ながら役に立ちます。
この失敗は評価側の部分観測可能性に起因し、モデルは主に最終結果から評価されるが、基礎となる推論やツールの使用、環境効果の忠実さは確認できない。
事前緩和は、事前定義された潜在信念空間またはワンショット監視によって、この部分的可観測性に対処する。
本研究では, エージェントが報酬を最大化する最大限のフレームワークである評価側部分観察可能な拡張型ゲーム(e-PoG)と, モニタが完全な相互作用軌跡から詐欺を露呈することによってエージェントの支払いを最小化し, 固定検証器がモニタの主張を検証し, 罰則に変換する。
本稿では,エージェントとモニタ間のサブゲーム・完全監視平衡 (SPOE) の概念を定義し,その存在を有限ゲームで証明する。
完全検証器では、すべてのSPOEは忠実であり、不完全検証器では、検証器エラーがモニターアクションのランクを逆転しない場合、保証は持続する。
忠実なSPOEを実現するために、2段階のポリシー勾配アルゴリズムを導出し、NLI検証と決定論的チェックを経験的に拡張する。
Gemma3-4B-IT と Qwen3-4B/8B によるエージェントロールプレイング、サーチQA、WebShop の実験では、e-PoG は複数の創発的偽装モードを緩和し、偽装緩和の26.0%、タスク成功の39.8%で最強のベースラインを上回っている。
これらの利得は、弱々しい監督の下で継続する。
コードはhttps://github.com/Toyoid/deceptive-agent.comで入手できる。
関連論文リスト
- Taming CoT Obfuscation in VLMs: From Mechanistic Evidence to Activation Enforcement [74.92755267784983]
強化学習は、視覚言語モデルにおける推論を改善するが、チェーン・オブ・オファシケーションを誘発することができる。
本稿では, 行動フィードバックとテンプレート関連アクティベーションの標的抑制を組み合わせ, メカニスティック・エンハンスメント(TAME)を用いた標的的アンチ・オブファシケーションを提案する。
VIRL-39k、SPA-VL、および2つのモデルファミリの中で、TAMEはグループ相対政策最適化よりも最大30.9および16.7%のCoT監視性を改善している。
論文 参考訳(メタデータ) (2026-09-21T08:08:56Z) - Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。
ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
論文 参考訳(メタデータ) (2026-05-17T13:51:34Z) - Behavior Cue Reasoning: Monitorable Reasoning Improves Efficiency and Safety through Oversight [8.531991753482838]
LLM(Large Language Models)における推論(Reasoning in Large Language Models)は、監視の課題である。
LLM推論をより制御しやすく、監視しやすくするための振舞いキュー推論を提案する。
論文 参考訳(メタデータ) (2026-05-07T23:05:50Z) - DeceptGuard :A Constitutional Oversight Framework For Detecting Deception in LLM Agents [0.0]
3つの監視体制を体系的に比較する統合フレームワークであるDECEPTGUARDを紹介する。
提案するDECEPTSYNTHは,偽陽性および偽陰性なエージェントトラジェクトリを生成する,スケーラブルな合成パイプラインである。
モニタは4,800個の合成軌道に最適化され、DeceptArenaの9,200個のホールドアウトサンプルで評価された。
論文 参考訳(メタデータ) (2026-03-14T06:45:43Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - CoT Red-Handed: Stress Testing Chain-of-Thought Monitoring [3.6284577335311563]
CoT(Chain-of-Thought)モニタリングは、アクションのみの監視がサボタージュを確実に識別できないシナリオにおいて、最大27ポイントの検出を改善する。
CoTトレースはまた、モニターを欺く誤解を招く合理化も含み、より明白なサボタージュケースのパフォーマンスを低下させる。
このハイブリッドモニターは、テストされたすべてのモデルとタスクにわたってCoTとアクションオンリーのモニターを一貫して上回り、微妙な詐欺シナリオに対するアクションオンリーのモニタリングよりも4倍高い速度で検出する。
論文 参考訳(メタデータ) (2025-05-29T15:47:36Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳(メタデータ) (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。