論文の概要: Policy Loopholes in Agent Evaluation: When Policy Ambiguity Masquerades as Agent Error
- arxiv url: http://arxiv.org/abs/2609.14400v1
- Date: Sun, 13 Sep 2026 10:00:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.808885
- Title: Policy Loopholes in Agent Evaluation: When Policy Ambiguity Masquerades as Agent Error
- Title（参考訳）: エージェント評価における政策の抜け穴--政策の曖昧さがエージェントエラーになったとき
- Abstract要約: ベンチマーク開発者は、金のアノテーションを集める前にポリシーを監査する必要がある。
ドメイン間の比較によって、エクスプロイラビリティはポリシーの曖昧さとツールの許容性の両方を必要とすることが明らかになった。
- 参考スコア（独自算出の注目度）: 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agent benchmarks evaluate policy compliance but assume each policy determines a unique correct action. Natural-language policies can violate this assumption through silence, ambiguity, or contradiction, admitting multiple defensible readings that a single gold trajectory cannot capture. Auditing two $τ^2$-bench domains, we develop a taxonomy of such policy loopholes and show that affected tasks produce unreliable scores: they lower scores across different models in different ways and make every model less consistent across repeated trials. A cross-domain comparison reveals that exploitability requires both policy ambiguity and tool permissiveness: when policy complexity exceeds what tools can enforce, agents resolve gaps inconsistently and scores become unreliable. Policy specification quality sets the ceiling on evaluation quality. Benchmark developers should audit policies before collecting gold annotations.
- Abstract（参考訳）: エージェントベンチマークはポリシーコンプライアンスを評価するが、それぞれのポリシーがユニークな正しいアクションを決定すると仮定する。
自然言語の政策は、沈黙、曖昧さ、矛盾を通じてこの仮定に違反し、単一の金軌道が捉えられない複数の保護可能な読影を認める。
2つの$τ^2$-benchドメインを見て、そのようなポリシーの抜け穴の分類法を開発し、影響を受けるタスクが信頼できないスコアを生み出すことを示す。
ドメイン間の比較では、エクスプロイラビリティはポリシーの曖昧さとツールの許容性の両方を必要とすることが明らかになっている。
政策仕様の品質は、評価品質の上限を設定します。
ベンチマーク開発者は、金のアノテーションを集める前にポリシーを監査する必要がある。
関連論文リスト
- STAGE: Stateful Translation to Agentic Graph Execution with Policy-Scoped Context and Deterministic Control [0.29360071145551064]
本稿では、決定論的コードに手続き制御を配置しつつ、ポリシースコープノードにモデル判断を限定するフレームワークSTAGEを提案する。
3つの公開ポリシーフォローベンチマークと、プロプライエタリなバンキングベンチマークであるSmart Disputeについて、STAGEを評価した。
論文 参考訳（メタデータ） (2026-08-23T18:17:09Z) - Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments [0.0]
実世界の一般的な企業規制から派生したネストされたセキュリティポリシーレベルに対して、ターミナルベンチ2.1上の12のコーディングエージェントを評価した。
我々は、政策が行動を妨げるときにエージェントがどのように振る舞うかを特徴付け、障害のハードニングを分解する。
コーディングエージェントのポリシー制約付き評価を可能にするオープンソースのハードニングプラグインであるBoundary-Benchをリリースする。
論文 参考訳（メタデータ） (2026-08-02T14:26:12Z) - DRIP-R: A Benchmark for Decision-Making and Reasoning Under Real-World Policy Ambiguity in the Retail Domain [21.9900052246381]
DRIPRは、現実の小売政策構築シナリオを利用して、単一の正しい解決方法が存在しないベンチマークである。
DRIPRは、現実的な顧客ペルソナと組み合わせたポリシーの曖昧なリターンシナリオのキュレートされたセットと、完全な対話型シミュレーションツール呼び出し機能、マルチジャッジ評価フレームワークから構成される。
我々の実験は、フロンティアモデルが本質的に同じ方針の曖昧さに異を唱えていることを示し、あいまいさがLLM意思決定に真かつ体系的な課題をもたらすことを確認した。
論文 参考訳（メタデータ） (2026-05-08T13:10:49Z) - PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳（メタデータ） (2026-04-16T20:29:30Z) - Near-Miss: Latent Policy Failure Detection in Agentic Workflows [9.719140082591956]
エージェントの会話トレースにおける遅延ポリシー障害を検出するための新しい指標を提案する。
その結果,ツールコールの変異を伴う軌道の8～17%に潜伏障害がみられた。
論文 参考訳（メタデータ） (2026-03-31T12:26:35Z) - Verification of Robust Properties for Access Control Policies [51.736723807086385]
既存のアクセス制御ポリシーの検証方法は、検証が進む前に、ポリシーを完全かつ完全に決定する必要がある。
本稿では,政策構造がどのような決定を下すか,どのような決定を下すか,あるいはその後の拡張に拘わらず,その決定を行うかという課題について,ロバストなプロパティ検証を導入する。
可能なすべてのポリシー拡張を普遍的に定量化しているにもかかわらず、判断は二階述語論理プログラミング言語における探索の証明に還元されることを示す。
論文 参考訳（メタデータ） (2026-03-13T17:14:38Z) - Towards Policy-Compliant Agents: Learning Efficient Guardrails For Policy Violation Detection [25.53228630260007]
PolicyGuardBenchは、エージェントのトラジェクトリにおけるポリシー違反を検出するための約60kのサンプルのベンチマークである。
PolicyGuard-4Bは軽量のガードレールモデルであり、すべてのタスクに対して強力な検出精度を提供する。
PolicyGuardBench と PolicyGuard-4B は、Webエージェントのトラジェクトリにおけるポリシーコンプライアンスを研究するための、最初の包括的なフレームワークを提供する。
論文 参考訳（メタデータ） (2025-10-03T20:03:19Z) - Best-Effort Policies for Robust Markov Decision Processes [69.60742680559788]
我々は、ロバスト MDP (RMDPs) として知られる遷移確率の組によるマルコフ決定過程(MDPs)の共通一般化について研究する。
このような政策を最適な堅牢なベストプラクティス(ORBE)政策と呼ぶ。
我々はORBEポリシーが常に存在することを証明し、その構造を特徴付け、標準的なロバストな値反復よりも小さなオーバヘッドで計算するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-08-11T09:18:34Z) - How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。
本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。
実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
論文 参考訳（メタデータ） (2024-05-08T22:00:35Z) - Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。
この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。
本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
論文 参考訳（メタデータ） (2023-04-05T16:45:11Z) - Supervised Off-Policy Ranking [145.3039527243585]
オフポリシー評価(OPE)は、他のポリシーによって生成されたデータを活用して、ターゲットポリシーを評価する。
本稿では,訓練方針と既知の実績を正しくランク付けすることで,政策スコアリングモデルを学習する教師付き非政治ランキングを提案する。
本手法は,上位3つのポリシーのうち,最良と最良の双方のランク相関と性能差の両面から,強力なベースラインOPE法より優れる。
論文 参考訳（メタデータ） (2021-07-03T07:01:23Z) - Efficient Evaluation of Natural Stochastic Policies in Offline
Reinforcement Learning [80.42316902296832]
行動政策から逸脱した観点から定義される自然政策の効果的な非政治的評価について検討する。
これは、ほとんどの著作が明示された政策の評価を考慮に入れている、政治外の評価に関する文献から逸脱している。
論文 参考訳（メタデータ） (2020-06-06T15:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。