論文の概要: Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks

• arxiv url: http://arxiv.org/abs/2610.22760v1
• Date: Fri, 16 Oct 2026 00:02:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.716885
• Title: Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks
• Title（参考訳）: スポイラーとゲストワーク: コーディングベンチマークの過度な仕様化を避ける
• Abstract要約: ベンチマークはAIの進歩を促進するが、タスクの過度な特定と過剰な特定によって妨げられる。 いくつかのベンチマークでは,タスクステートメントに根底から情報が漏洩すると,過度な仕様化が生じることが示されている。 コミュニティが人気のあるベンチマークからより信頼性の高いシグナルを得ることができるように、ヒントをリリースします。
• 参考スコア（独自算出の注目度）: 9.137483173714552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarks drive AI progress, but are hampered by task under-specification and over-specification. Task under-specification causes guesswork, where solutions have to make things up, or worse, resort to contamination or reward hacking. Task over-specification causes spoilers, where solutions can bypass some of the harder steps the benchmark was supposed to measure. Since future-looking benchmarks should be difficult, over-specification reduces a benchmark's shelflife of community adoption. Repository-level coding benchmarks have helped the field progress but experience unnecessary churn due to both over- and under-specification. For instance, SWE-bench Pro, FEA-bench, Doc2Feat-bench, and Multi-SWE-bench all tackle under-specification by augmenting task statements with hints derived from ground truth. We show that leaking ground-truth information into the task statement causes over-specification in some of these benchmarks. We experiment with various specification levels, trying to thread the needle between spoilers and guesswork. Based on these results, we recommend techniques for deriving parsimonious hints. We will release our hints so the community can obtain more reliable signals from popular benchmarks.
• Abstract（参考訳）: ベンチマークはAIの進歩を促進するが、タスクの過度な特定と過剰な特定によって妨げられる。 タスク過小評価(Task Under-specification)は、ソリューションが汚染や報酬のハッキングに頼らざるを得ない、推測作業を引き起こす。 タスクのオーバーセグメンテーションはスポイラーを発生させ、そこでは、ソリューションがベンチマークが測定するべき難しいステップのいくつかをバイパスすることができる。 将来のベンチマークは難しいはずなので、過剰な仕様化はベンチマークのコミュニティ採用の寿命を縮める。 リポジトリレベルのコーディングベンチマークは、フィールドの進行に役立っているが、過剰な仕様と過度の仕様の両方のために、不要な混乱を経験している。 例えば、SWE-bench Pro、FEA-bench、Doc2Feat-bench、Multi-SWE-benchは、すべて、地上の真実からヒントを得たタスクステートメントを拡大することで、不特定に取り組みます。 これらのベンチマークでは,タスクステートメントに根底から情報が漏れることによって,過度な仕様化が生じることが示されている。 我々は様々な仕様レベルを実験し、スポイラーと推測作業の間の針をスレッド化しようと試みた。 これらの結果に基づき、擬似的ヒントを導出する手法を推奨する。 コミュニティが人気のあるベンチマークからより信頼性の高いシグナルを得ることができるように、ヒントをリリースします。

関連論文リスト

• DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
  DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。 タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。 SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
  論文  参考訳（メタデータ） (2026-07-08T21:45:34Z)
• Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required [4.49567756675597]
  トレーニング後の論文やモデルカード,ブログ記事などは,ごく少数のコーディングベンチマークのスコアを,広範なコーディング能力の証拠として扱うことが多い。 これらのベンチマークの最適化によってタスク固有の性能が測定され、測定されたスコアと一般的なコーディング能力のクレームの間に意味のギャップが生じると我々は主張する。
  論文  参考訳（メタデータ） (2026-06-26T10:14:14Z)
• What Makes a Good Terminal-Agent Benchmark Task: A Guideline for Adversarial, Difficult, and Legible Evaluation Design [1.8420149175440346]
  本稿では,端末ベンチのための優れたベンチマークタスクを記述するためのガイドラインである。 よいタスクは敵意があり、困難で、正当である、と私たちは主張する。 一般的な端末エージェントベンチマークにおけるタスクの15%以上が報奨可能であるという最近の実証的証拠について論じる。
  論文  参考訳（メタデータ） (2026-04-30T16:37:37Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• How Should We Build A Benchmark? Revisiting 274 Code-Related Benchmarks For LLMs [60.25940747590386]
  本稿では,コード関連ベンチマークの開発を包括的に管理するためのガイドラインとして,55の基準チェックリストからなるHow2Benchを提案する。 私たちは過去10年以内にリリースされた274のベンチマークをプロファイルし、問題を見つけました。 ベンチマークの70%近くはデータ品質保証の措置を取らず、10%以上がオープンソースでも、部分的にはオープンソースでもなかった。
  論文  参考訳（メタデータ） (2025-01-18T09:51:57Z)
• AutoBencher: Towards Declarative Benchmark Construction [74.54640925146289]
  AutoBencherを使って、数学、多言語性、知識、安全性のためのデータセットを作成しています。 AutoBencherのスケーラビリティにより、詳細なカテゴリ知識をテストでき、既存のベンチマークよりも22%のモデルエラー(難易度)を誘発するデータセットを作成することができる。
  論文  参考訳（メタデータ） (2024-07-11T10:03:47Z)
• LiveBench: A Challenging, Contamination-Limited LLM Benchmark [93.57775429120488]
  最近の情報ソースから頻繁に更新された質問を含む最初のベンチマークであるLiveBenchをリリースする。 我々は、多くの著名なクローズドソースモデルと、0.5Bから405Bまでの数十のオープンソースモデルを評価した。 質問は毎月追加され、更新され、時間とともに新しいタスクとより難しいタスクをリリースします。
  論文  参考訳（メタデータ） (2024-06-27T16:47:42Z)
• OoDIS: Anomaly Instance Segmentation and Detection Benchmark [57.89836988990543]
  この作業は、インスタンスセグメンテーションとオブジェクト検出タスクを含むために、よく使われる異常セグメンテーションベンチマークを拡張します。 異常セグメンテーションおよびオブジェクト検出手法の評価は,これらの課題が未解決問題のままであることを示す。
  論文  参考訳（メタデータ） (2024-06-17T17:59:56Z)
• Rethink DARTS Search Space and Renovate a New Benchmark [8.93957397187611]
  まず、LHDと呼ばれる、より大きく、より難しいDSSをフレーム化するための一連の改善を提案し、オーケストレーションする。 我々はLHDベースの新しいベンチマークの更新を進め、識別性とアクセシビリティの両面に対処する。
  論文  参考訳（メタデータ） (2023-06-12T03:56:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。