論文の概要: Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required

• arxiv url: http://arxiv.org/abs/2608.13566v1
• Date: Fri, 26 Jun 2026 10:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.19678
• Title: Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required
• Title（参考訳）: ベンチマーク指向の最適化は一般的なコーディング能力を改善する - さまざまな評価が必要
• Abstract要約: トレーニング後の論文やモデルカード,ブログ記事などは,ごく少数のコーディングベンチマークのスコアを,広範なコーディング能力の証拠として扱うことが多い。 これらのベンチマークの最適化によってタスク固有の性能が測定され、測定されたスコアと一般的なコーディング能力のクレームの間に意味のギャップが生じると我々は主張する。
• 参考スコア（独自算出の注目度）: 4.49567756675597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training papers, model cards, and blog posts often treat scores on a small set of coding benchmarks (e.g., SWE-bench and LiveCodeBench) as evidence of broad coding capability, both for research artifacts and user-facing systems. We argue that optimization for these benchmarks leads to measuring task-specific performance, creating a meaning gap between measured scores and claims of general coding ability. We examine this gap with a Django-based case study benchmark suite we create. Evaluating foundation models and checkpoints post-trained on SWE-bench trajectories, we find that benchmark rankings frequently fail to generalize. Post-trained checkpoints show little cross-task transfer, and SWE-bench optimization yields limited or no gains on our tasks or on LiveCodeBench. Similarly, fine-tuning on individual Django modalities fails to transfer. We conclude that a small number of benchmarks is insufficient for evaluating diverse models under benchmark optimization pressure. We encourage the community to use differentiated evaluation - holistic assessment for frontier models, multi-task suites for research, and human-in-the-loop studies for narrow task applications. Finally, we argue for creating a capability taxonomy and sustained benchmark maintenance, rather than one-off benchmark releases. Without reliable evaluation standards, engineers and researchers using LLMs and agents have to rely on insufficient evidence to make research, development, and deployment decisions.
• Abstract（参考訳）: トレーニング後の論文、モデルカード、ブログ投稿は、研究成果物とユーザ対応システムの両方において、幅広いコーディング能力の証拠として、少数のコーディングベンチマーク(例:SWE-bench、LiveCodeBench)のスコアを扱います。 これらのベンチマークの最適化によってタスク固有の性能が測定され、測定されたスコアと一般的なコーディング能力のクレームの間に意味のギャップが生じると我々は主張する。 Djangoベースのケーススタディベンチマークスイートを使って、このギャップを検証します。 SWE-bench トラジェクトリによる基礎モデルとチェックポイントの評価では,ベンチマークランキングが一般化に失敗することが多い。 トレーニング後のチェックポイントは、クロスタスク転送がほとんどなく、SWE-benchの最適化は、タスクやLiveCodeBench上での利得が制限されるか、まったくない。 同様に、個々のジャンゴモダリティの微調整は転送に失敗する。 ベンチマーク最適化圧力下での多種多様なモデル評価には,少数のベンチマークが不十分である。 我々は,フロンティアモデルに対する全体的評価,研究のためのマルチタスクスイート,狭義のタスク応用のための人間-イン-ループ研究など,コミュニティの差別化評価の利用を奨励する。 最後に、単発のベンチマークリリースではなく、機能分類と持続的なベンチマークメンテナンスを作成することについて論じます。 信頼性の高い評価基準がなければ、LLMとエージェントを使用するエンジニアと研究者は、研究、開発、デプロイメントの決定を行うのに不十分な証拠に頼る必要がある。

関連論文リスト

• Benchmark Everything Everywhere All at Once [28.30618112297148]
  ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。 本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。 テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
  論文  参考訳（メタデータ） (2026-06-04T17:52:04Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts [49.99400612296149]
  強力な視覚的理解なしに、モデルが多くのベンチマークを達成できることがわかりました。 これは視覚的な入力を意図した視覚中心のベンチマークでは特に問題となる。 ベンチマーク設計には診断原則を採用しており、もしベンチマークをゲーム化できれば、それをゲーム化します。
  論文  参考訳（メタデータ） (2025-11-06T18:43:21Z)
• Deprecating Benchmarks: Criteria and Framework [2.6449913368815516]
  ベンチマークを完全にあるいは部分的に非推奨にする時期を決定するための基準と、ベンチマークを非推奨にするフレームワークを提案する。 我々の研究は、特にフロンティアモデルにおいて、厳格で高品質な評価に向けたベンチマークの状況を改善することを目的としている。
  論文  参考訳（メタデータ） (2025-07-08T22:29:06Z)
• carps: A Framework for Comparing N Hyperparameter Optimizers on M Benchmarks [61.79411281702448]
  carpsはComprehensive Automated Research Performance Studiesのベンチマークフレームワークである。 我々は、ブラックボックス、マルチオブジェクト、マルチオブジェクト、マルチオブジェクトの4つの重要なタイプのHPOタスクに焦点をあてる。 5つのコミュニティベンチマークコレクションから336のタスクと28種類の9つのファミリーで、私たちはこれまでで最大のGotoライブラリを提供しています。
  論文  参考訳（メタデータ） (2025-06-06T15:01:39Z)
• RewardBench 2: Advancing Reward Model Evaluation [71.65938693914153]
  リワードモデルは、好みのデータからニュアンスされた信号をキャプチャするために、言語モデルの訓練後を通して使用される。 コミュニティは報酬モデルを評価するためのベストプラクティスを確立し始めている。 本稿では,新しいマルチスキル報酬モデルベンチマークであるRewardBench 2を紹介する。
  論文  参考訳（メタデータ） (2025-06-02T17:54:04Z)
• HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly [34.205934899868346]
  HELMETは7つの多様なアプリケーション中心のカテゴリを包含する総合ベンチマークである。 NIAHのような合成タスクは、下流のパフォーマンスを確実に予測できない。 ほとんどのLCLMは完全なNIAHスコアを達成しているが、タスクが完全コンテキスト推論を必要とする場合、オープンソースモデルはクローズドなスコアよりも大幅に遅れている。
  論文  参考訳（メタデータ） (2024-10-03T17:20:11Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。