論文の概要: Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks

• arxiv url: http://arxiv.org/abs/2611.08417v1
• Date: Thu, 05 Nov 2026 18:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.61663
• Title: Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks
• Title（参考訳）: ソフトウェアとしてのベンチマーク: Terminal-Benchと継続的ベンチマークのケース
• Abstract要約: コーディングエージェントは、これまでで最も経済的に連続したLSMの展開の1つである。 モデルが改善されるにつれて、既存の検証者が拒否する有効な解を見つけることができる。 評価インフラストラクチャの変更は、タスクやテストに埋め込まれた仮定を無効にすることができる。
• 参考スコア（独自算出の注目度）: 42.10823424421614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coding agents are among the most economically consequential deployments of LLMs to date, making reliable evaluation increasingly important. Yet even benchmarks that are carefully validated at release can become stale. As models improve, they can discover valid solutions that existing verifiers reject, while changes to evaluation infrastructure can invalidate assumptions embedded in tasks and tests. We call the resulting accumulation of defects benchmark maintenance debt: a growing gap between benchmark scores and the capabilities they are intended to measure. We introduce a continuous-validation workflow for agentic benchmarks that combines community reports, task artifacts, agent traces, automated oracle checks, and human-gated repairs. We apply this workflow to Terminal-Bench 2.0, a benchmark that underwent extensive human and LM-assisted review and red-teaming before release. Our audit identifies issues in roughly 30% of the benchmark, and we release the resulting repairs as Terminal-Bench 2.1. These repairs change evaluation results: accuracy increased by over 10 percentage points and leaderboard positions move by up to three ranks, even as the overall ranking remains highly correlated (Spearman rho = 0.958). We evaluate how resource allocation shapes benchmark conclusions. We show that fixed wall-clock can materially change agent performance: For example, extending the time limit closes a 20pp harness gap on GPT 5.4 and shrinks a 30 pp gap on GPT 5.4 mini to 5 pp. Benchmark maintenance is therefore not only about repairing task artifacts: resource budgets are part of the measurement specification and must be validated alongside the tasks themselves. More broadly, benchmark maintenance debt is not just accumulated implementation bugs: our results show that as models improve, both evaluation assumptions and resource settings may need to be revalidated.
• Abstract（参考訳）: コーディングエージェントは、LLMの最も経済的に連続した展開の1つであり、信頼性の高い評価がますます重要になっている。 しかし、リリース時に慎重に検証されるベンチマークでさえ、時代遅れになる可能性がある。 モデルが改善されるにつれて、既存の検証者が拒否する有効なソリューションを見つけることができる一方で、評価インフラストラクチャの変更はタスクやテストに埋め込まれた仮定を無効にすることができる。 ベンチマークスコアと測定対象の能力の間のギャップが拡大するのです。 我々は、コミュニティレポート、タスクアーティファクト、エージェントトレース、自動化されたオラクルチェック、人為的な修復を組み合わせたエージェントベンチマークのための継続的検証ワークフローを紹介します。 このワークフローを、リリース前に大規模な人間およびLM支援レビューと再チームのベンチマークである Terminal-Bench 2.0 に適用する。 調査では,ベンチマークの約30%で問題を確認し,結果の修正結果を Terminal-Bench 2.1 としてリリースした。 これらの修理の結果, 精度が10ポイント以上向上し, 総ランキングが高い相関関係にあるにもかかわらず, リーダーボードの位置が最大3ランクまで上昇した(Spearman rho = 0.958)。 資源割り当てがベンチマークの結論をどのように形作るかを評価する。 例えば,GPT 5.4では時間制限が20ppのハーネスギャップを閉じ,GPT 5.4では30ppのハーネスギャップを5ppに縮める。 リソース予算は測定仕様の一部であり、タスク自体と一緒に検証する必要があります。 私たちの結果は、モデルが改善されるにつれて、評価の前提とリソース設定の両方を無効化する必要があることを示しています。

関連論文リスト

• Rethinking Verification in Agent Harnesses [54.00276643533363]
  エージェントハーネスは、大きな言語モデルをツールを通じて動作させ、結果を観察し、タスク目標に向かって反復的に作業することを可能にする。 テストタイムスケーリングの軸として,いつ介入すべきか,誰が作業をチェックすべきか,チェックがどのようにリビジョンにつながるのかを調べることで,検証について検討する。 私たちのフレームワークは、初期命令、ミッドターンリマインダー、完了ゲート、独立レビューの4つのレイヤにまたがっています。
  論文  参考訳（メタデータ） (2026-10-25T21:17:26Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• How Benchmarks Mis-Score Computer-Use Agents [12.455546989850227]
  タスク構築、軌道観測、スコアリング、レポートにまたがる信頼性フレームワークに問題を整理する。 我々は,5つのWeb,エンタープライズワークフロー,デスクトップ制御ベンチマークから,150のパブリックな障害対応トラジェクトリを監査する。 真の失敗については、3階層の診断分類では、検証/フィードバックと計画失敗が実行/グラウンドエラーを支配していることを示している。
  論文  参考訳（メタデータ） (2026-07-30T15:29:42Z)
• Beyond Fail-to-Pass: Iterative Hardening of Co-Generated Bug Reproduction Tests and Fixes [55.114939648705395]
  大規模言語モデル(LLM)は、現実のバグに対して、プログラムの自動修正をますます実用的にしている。 バグ再現テスト(BRT)は、バグレポートを実行可能なバグ固有の信号に変換することで、このギャップを埋めるのに役立つ。 本稿では,ループ内収束基準としてLax信号を用いるコジェネレーションフレームワークであるCoHardenを提案する。
  論文  参考訳（メタデータ） (2026-07-22T07:30:07Z)
• ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
  ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。 4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。 最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
  論文  参考訳（メタデータ） (2026-05-18T08:34:48Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• PerfBench: Can Agents Resolve Real-World Performance Bugs? [4.879400115033142]
  PerfBenchは、GitHubから81の実際のパフォーマンスバグ修正タスクからなるベンチマークである。 PerfBenchは、エージェントが独自のパフォーマンスベンチマークを生成することができる新しい評価ハーネスを備えている。 OpenHands-Perf-Agentは、パフォーマンスに配慮したツールと命令を組み、ベンチマークで20%の成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-28T22:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。