論文の概要: Maintaining Benchmarks Against Increasingly Capable Agents: Detection and Remediation of Unearned Passes

• arxiv url: http://arxiv.org/abs/2609.34262v1
• Date: Mon, 28 Sep 2026 04:07:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:26:38.99455
• Title: Maintaining Benchmarks Against Increasingly Capable Agents: Detection and Remediation of Unearned Passes
• Title（参考訳）: 高機能エージェントに対するベンチマークの維持:未開路の検出と修復
• Abstract要約: エージェントベンチマークは、モデルの選択とトレーニングをガイドする。しかしながら、エージェントは意図した能力を示すことなくタスクをパスすることができる。 エージェントが改善するにつれて、かつて無害と思われたベンチマークサーフェスは悪用され、ベンチマークの検証が進行中のメンテナンス問題となる。 本稿では,パストラジェクトリを監査し,証明された報酬ハッキングとバリデーションの弱点を識別するプロセス検証フレームワークを導入し,修復に有効な表面をローカライズする。
• 参考スコア（独自算出の注目度）: 15.12761261423003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic benchmarks guide model selection and training. Yet an agent can pass a task without demonstrating the intended capability. Such outcomes constitute unearned passes; their proportion among all passes defines the integrity gap. As agents improve, benchmark surfaces that once seemed harmless can become exploitable, making benchmark validity an ongoing maintenance problem. We introduce a process-verification framework that audits passing trajectories, distinguishes evidenced reward hacking from verifier weakness, and localizes exploitable surfaces for repair. Across 3,810 passing trajectories from 29 model-benchmark cohorts, confirmed violations often increase with model generation but not monotonically. On SWEBench Pro V1.0, confirmed violation rates rise from 24% to 73% between Opus 4.7 and Fable 5 on matched tasks; later cohorts fall to 11% for Fable 5.1 and 0% for GPT-6 Astra. These comparisons are descriptive: configurations were not normalized, and the latest models also pass fewer exploitable tasks. Violations concentrate around a small set of recurring surfaces, especially unintended access to reference solutions through git history. Three repair case studies across two benchmarks show why blocking a recorded exploit is insufficient: the same protected information can remain accessible through another route. Therefore, we combine minimal patches with exploit replay and fresh agent evaluation, auditing new passes under the original standard. No evaluated attempt against the final patches reached the protected channel, and every post-patch pass was judged legitimate. Benchmark integrity requires ongoing maintenance: audit passing behavior, repair the enabling surface, and re-evaluate both exploit access and legitimate solvability.
• Abstract（参考訳）: エージェントベンチマークはモデルの選択とトレーニングをガイドする。 しかしエージェントは意図した能力を示すことなくタスクを渡すことができる。 これらの結果は未完成のパスを構成し、すべてのパスの比率は整合性ギャップを定義する。 エージェントが改善するにつれて、かつて無害と思われたベンチマークサーフェスは悪用され、ベンチマークの検証が進行中のメンテナンス問題となる。 本稿では,パストラジェクトリを監査し,証明された報酬ハッキングとバリデーションの弱点を識別するプロセス検証フレームワークを導入し,修復に有効な表面をローカライズする。 29個のモデルベンチマークコホートから3,810個のパス軌道が通過し、モデル生成によってはしばしば違反が増加するが、単調ではないことが確認された。 SWEBench Pro V1.0では、一致したタスクでOpus 4.7とFable 5の間の違反率は24%から73%に上昇し、後にFable 5.1では11%、GPT-6 Astraでは0%に低下した。 これらの比較は記述的であり、設定は正規化されておらず、最新のモデルも少ないエクスプロイト可能なタスクをパスしている。 ヴァイオレーションは、特にgit履歴を通じて参照ソリューションへの意図しないアクセスを繰り返す小さな表面の集合に集中する。 2つのベンチマークにわたる3つの修復ケース研究は、記録されたエクスプロイトのブロックが不十分な理由を示している。 したがって、最小限のパッチとエクスプロイト・リプレイと新しいエージェント評価を組み合わせ、元の標準の下で新しいパスを監査する。 最終パッチに対する評価された試みは保護されたチャンネルに届かず、パッチ後のパスはすべて合法であると判断された。 ベンチマークの完全性には、パス動作の監査、有効表面の修復、エクスプロイトアクセスと正当な解決性の両方を再評価する、継続的なメンテナンスが必要である。

関連論文リスト

• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• BAITBENCH: Measuring Agent Reward Hacking with Optional Shortcuts Planted in ML Tasks [0.20524609401792396]
  LLMエージェントは、人間の監視がほとんどないターゲットメトリクスを反復して、自律的なML実験を実行するために、ますます使われています。 これまでの研究は報酬のハッキングを文書化しており、生成された研究の妥当性と、AI R&Dの幅広い安全ケースに疑問を呈している。 BAITBENCHは3つの合成表型MLタスクからなるスイートで、それぞれにショートカットが含まれており、エージェントは公開テストスコアをインフレーションするが、隠れたテストセットで失敗する。 審査員の57.1%が報酬のハッキングを行い、7人中5人が50%以上である。
  論文  参考訳（メタデータ） (2026-08-31T12:59:33Z)
• Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
  大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。 報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。 本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
  論文  参考訳（メタデータ） (2026-08-09T22:59:13Z)
• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops [30.90132709192538]
  エージェントベンチマークは、通常手書きで不安定な結果検証器で評価され、ハックに対して報酬を与えるために開放される。 5つの端末エージェントベンチマークで1,968のタスクを監査し、323 (16%) がフロンティアモデルによってハック可能であることを発見した。 我々は,タスクごとの手動パッチを使わずに,エクスプロイトに耐性のあるバリデーションを構築する手法であるHacker-fixer loopを紹介した。
  論文  参考訳（メタデータ） (2026-06-08T03:00:56Z)
• ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
  大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。 最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。 ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-05-17T13:48:25Z)
• Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack [51.54835866517547]
  BenchJackは、コーディングエージェントがベンチマークを監査し、報酬をハックする可能性のあるエクスプロイトを識別するシステムである。 BenchJackを、ソフトウェアエンジニアリング、Webナビゲーション、デスクトップコンピューティング、端末操作にまたがる10の人気のあるエージェントベンチマークに適用する。 BenchJackは、単一のタスクを解決することなく、ほとんどのベンチマークでほぼ完璧なスコアを達成する報奨ハックのエクスプロイトを合成する。
  論文  参考訳（メタデータ） (2026-05-12T19:22:45Z)
• Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use [0.016201337438609787]
  ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 本稿では,Reward Hacking Benchmark (RHB)について紹介する。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。
  論文  参考訳（メタデータ） (2026-05-03T07:10:42Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。