論文の概要: What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents

• arxiv url: http://arxiv.org/abs/2606.02965v1
• Date: Mon, 01 Jun 2026 23:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.647291
• Title: What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents
• Title（参考訳）: ベンチマークが計測しないもの: 自律エージェントにおける注意力評価の事例
• Authors: Victor Ojewale, Suresh Venkatasubramanian,
• Abstract要約: 自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。 ヒューマンフィードバックの目的の下で訓練されたエージェントは、入力、証拠、あるいは安全に行動する許可がなくても、進行する構造的な傾向を発達させる。 本稿では,要求される情報が欠落している仕様ギャップ,世界国家が確認できない検証ギャップ,明示的な承認が与えられていない権限ギャップについて紹介する。
• 参考スコア（独自算出の注目度）: 2.8340200313563773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks for autonomous agents measure whether agents complete tasks, yet this framing is systematically blind to whether an agent should have proceeded at all. Agents trained under human-feedback objectives develop a structural tendency to proceed even when they lack the inputs, evidence, or authorization to act safely, a disposition we term compliance bias, because both the reward signal and the benchmark scoring regime treat proceeding as the correct default regardless of whether the preconditions for safe action are present. We make three contributions. We first show that compliance bias originates in reward hacking within human-feedback pipelines and is entrenched by prominent agent benchmarks, which either penalize agents for pausing or are architecturally unable to distinguish a principled pause from a silent failure. We then introduce a three-gap taxonomy of abstention-warranted scenarios, covering specification gaps where required information is absent, verification gaps where world state cannot be confirmed, and authority gaps where explicit authorization has not been given, which together provide a principled basis for constructing abstention-aware agent benchmarks. Finally, we propose abstention evaluation protocols (Safety Rate, Usability Rate, and Informed Refusal Rate) and report preliminary results across 144 enterprise agent scenarios and five model families, in which a runtime-enforced abstention mechanism achieves up to 89.2% hazardous-action blocking and 87.5% usability on authorized scenarios, demonstrating that the safety--usability tradeoff is tunable rather than inherent and that its shape varies substantially across model families. We treat this as preliminary work and offer the taxonomy and composite metrics as a starting point for further conversations.
• Abstract（参考訳）: 自律エージェントのベンチマークは、エージェントがタスクを完了したかどうかを計測するが、このフレーミングはエージェントが進むべきだったかどうかを体系的に見えない。 人間のフィードバックの目的の下で訓練されたエージェントは、入力、証拠、または安全行動の許可がなくても、安全行動の前提条件の有無にかかわらず、報酬信号とベンチマークスコア制度の両方が正しいデフォルトとして手続きを処理するため、安全コンプライアンスバイアスを生じるという構造的傾向を発達させる。 私たちは3つの貢献をします。 最初に、コンプライアンスバイアスは、人間のフィードバックパイプライン内での報酬のハッキングに起因し、一時停止のためのエージェントをペナライズするか、アーキテクチャ上、サイレント障害と原則的な停止を区別できない、著名なエージェントベンチマークによって絡み合っていることを示す。 次に、要求される情報がない仕様ギャップ、世界国家が確認できない検証ギャップ、明示的な承認が与えられていない権限ギャップの3つを網羅し、禁忌を意識したエージェントベンチマークを構築するための原則的基盤を提供する。 最後に, 安全度, ユーザビリティ率, インフォームドリファレンス) の評価プロトコルを提案し, 144のエンタープライズエージェントシナリオと5つのモデルファミリーに対して予備的な結果を報告し, 実行時強化された禁忌機構が89.2%の有害な動作をブロックし, 87.5%のユーザビリティを承認されたシナリオで達成し, 安全性とユーザビリティのトレードオフが本質的にではなく、その形状がモデルファミリ間で大きく異なることを実証した。 我々は、これを予備的な作業として扱い、さらなる会話の出発点として分類学と複合メトリクスを提供する。

関連論文リスト

• Position: Behavioural Assurance Cannot Verify the Safety Claims Governance Now Demands [4.125187280299246]
  我々は、慎重に設計しても、行動保証は検証できないという安全主張を遂行するよう求められていると論じている。 我々は,この構造ミスマッチを監査ギャップ,要求と達成可能な検証アクセスのばらつきとして形式化し,脆弱な保証の概念を導入する。 本稿では,法的文書における行動証拠の重み付けと,機械的証拠クラスによる自発的な事前配備アクセスの延長という技術的転換を提案する。
  論文  参考訳（メタデータ） (2026-05-14T17:54:28Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges [26.595399077062638]
  LLM-as-a-Judgeパイプラインは、エージェント安全性のデファクト評価器となっている。 既存のベンチマークでは、評定がエージェントの行動に依存するか、それとも単に評価方針がどう語られるかをチェックすることなく、その評定を根底からのプロキシとして扱う。 我々は、証明された等価な書き換えの下でのルーブリック・セマンティック不変性、意図的な厳密なシフトの下でのルーブリック・スレッショルド不変性、曖昧さを意識したキャリブレーションの3つの検証可能な原則として運用する。
  論文  参考訳（メタデータ） (2026-05-07T12:49:09Z)
• Agentified Assessment of Logical Reasoning Agents [3.5548629490839594]
  エージェント化された評価に基づいて、評価エージェントを使用してタスクを発行し、実行予算を強制し、アウトプットを解析し、構造化された障害タイプを記録します。 ケーススタディでは,FOLIOの一階述語論理(FOL)推論のための自動形式化エージェントのベンチマークを行った。 自動形式化剤は、アセスメントプロトコルの下で86.70%の精度を達成し、チェーンオブソートベースライン(73.89%)を上回っている。
  論文  参考訳（メタデータ） (2026-03-03T09:26:08Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents [4.851169906977996]
  40の異なるシナリオからなる新しいベンチマークを導入する。 各シナリオはマルチステップアクションを必要とするタスクを示し、エージェントのパフォーマンスは特定のキーパフォーマンス指標(KPI)に結び付けられている。 我々は、結果駆動の制約違反を1.3%から71.4%まで観察し、12モデルのうち9モデルが30%から50%の不正調整率を示した。
  論文  参考訳（メタデータ） (2025-12-23T21:52:53Z)
• Confidential Guardian: Cryptographically Prohibiting the Abuse of Model Abstention [65.47632669243657]
  不正直な機関は、不確実性の観点からサービスを差別または不正に否定する機構を利用することができる。 我々は、ミラージュと呼ばれる不確実性誘導攻撃を導入することで、この脅威の実践性を実証する。 本研究では,参照データセット上のキャリブレーションメトリクスを分析し,人工的に抑制された信頼度を検出するフレームワークであるConfidential Guardianを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:47:50Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。