論文の概要: How Reusable Are Benchmarks with Richer Feedback?

• arxiv url: http://arxiv.org/abs/2609.32109v1
• Date: Sat, 26 Sep 2026 00:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:07:54.251216
• Title: How Reusable Are Benchmarks with Richer Feedback?
• Title（参考訳）: よりリッチなフィードバックでベンチマークはどの程度再利用可能か?
• Abstract要約: ベンチマークは、開発者が複数の基準にまたがって評価フィードバックに適応するときに、モデル選択を確実にガイドするかどうかを検討する。 ベストスコアを推定するために必要な最悪のテストセットサイズは、基準数とともに指数関数的に増加する。
• 参考スコア（独自算出の注目度）: 6.830295209146272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study whether benchmarks reliably guide model selection as developers adapt to evaluation feedback across multiple criteria. We find that the worst-case test-set size needed to estimate the best score among $k$ adaptively chosen models, under any convex combination of the criteria, grows exponentially with the number of criteria, reaching the $Θ(\sqrt{k})$ cost of answering $k$ adaptive statistical queries with only $O(\log k)$ criteria, at fixed accuracy and confidence. In attacks on multi-task large language model benchmarks with five to ten criteria, feedback restricted to nondominated task profiles produces large reused-to-held-out score gaps and frequent false winners. These results challenge a prominent explanation for prior observed reliable benchmark reuse---that developers mainly respond to convincing improvements over the current best---in rich-feedback settings, while leaving open how often ordinary model development encounters this vulnerability.
• Abstract（参考訳）: ベンチマークは、開発者が複数の基準にまたがって評価フィードバックに適応するときに、モデル選択を確実にガイドするかどうかを検討する。 適応的に選択されたモデルの最良のスコアを推定するのに必要となる最悪のテストセットサイズは、任意の基準の凸組み合わせの下で指数関数的に増加し、一定の精度と信頼性で$O(\log k)の基準で、$k$適応統計クエリに答えるコストが$(\sqrt{k})$に達する。 5から10の基準を持つマルチタスクの大規模言語モデルベンチマークに対する攻撃では、非支配的なタスクプロファイルに制限されたフィードバックは、大規模な再利用されたスコアギャップと頻繁な偽の勝者を生み出す。 これらの結果は、開発者が現在の最高のフィードバック設定よりも説得力のある改善に主に反応する一方で、通常のモデル開発がこの脆弱性にどの程度の頻度で遭遇するかをオープンにしている、という、従来の信頼性のあるベンチマークの再利用に関する顕著な説明に挑戦する。

関連論文リスト

• Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity [14.830460628644715]
  大規模言語モデルは通常、テストクエリ毎にすべてのモデルを評価することでベンチマークされる。 本稿では,従来の逐次リジェクトアルゴリズムをペア比較で拡張したSySR(Sychronized Successive Rejects)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T17:03:19Z)
• Boosting Self-Consistency with Ranking [56.38798757709555]
  自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。 この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
  論文  参考訳（メタデータ） (2026-06-03T16:12:30Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• An Embarrassingly Simple Graph Heuristic Reveals Shortcut-Solvable Benchmarks for Sequential Recommendation [50.09718257952108]
  Sequentialsolvは、シーケンシャルなパターンとセマンティックなアイテム情報を組み合わせたジェネレーティブなレコメンデーターへと移行している。 これらの手法は、しばしば、広く使われている少数のベンチマークで評価され、重要な疑問を提起する: これらのベンチマークは、現代のジェネレーティブレコメンデーターが提供しようとしている高度なモデリング機能を必要としているか? 我々は、意図的な単純なグラフでベンチマーク監査を行い、最後の1つか2つの項目から、数ホップの項目遷移グラフから候補を検索し、項目間類似度でランク付けする。
  論文  参考訳（メタデータ） (2026-05-08T02:00:11Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
  異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-31T13:11:39Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  我々はこの空間を探索するために$textitadaptive$アプローチを提案する。 我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。 典型的資源の5～15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Stronger Random Baselines for In-Context Learning [3.8520163964103835]
  標準ランダムベースラインは、評価セットが一度だけ使用される場合、あるいはデータセットが大きい場合、安定である。 我々は、検証セットの再利用の一般的な実践と、より強いランダムなベースラインを持つ既存の小さなデータセットを説明する。 標準ベースラインを超える数ショット結果の20%以上は、この強いランダムベースラインを超えない。
  論文  参考訳（メタデータ） (2024-04-19T17:30:10Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。