論文の概要: Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation

• arxiv url: http://arxiv.org/abs/2609.23201v1
• Date: Sat, 19 Sep 2026 20:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.926752
• Title: Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation
• Title（参考訳）: ベンチマークを信頼しない: LLMランキングの限界とタスク特化評価の事例
• Abstract要約: テストされた構成を開示し、質問を検証し、タスク完了を成功させ、コストと実行時間とともにパフォーマンスを報告し、一般化の範囲を明確にする評価手順について論じます。 大きな質問プールはタスクカバレッジを改善し、繰り返しサンプリングは、そのプールにおける見積もりの安定性を改善する。 その中心的な主張は、モデル選択は、単に一般的なリーダーボード上の高い位置ではなく、意図した作業におけるパフォーマンスに関する証拠を必要とすることである。
• 参考スコア（独自算出の注目度）: 1.2691047660244335
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Benchmark scores increasingly influence the development, marketing, and selection of large language models (LLMs). Yet an overall score is interpretable only in relation to the system tested, the questions included, and the conditions of evaluation. This perspective examines five connected limitations of general LLM rankings: differences between evaluated and publicly available systems; commercial incentives and dependencies in external evaluation; benchmark saturation, defective tests, and data contamination; models exploiting scoring procedures; and the limited relevance of general scores to users' tasks. Documented cases illustrate why these problems require different responses. I argue for evaluation procedures that disclose the tested configuration, validate questions and successful task completion, report performance alongside cost and execution time, and make the scope of generalization explicit. I then discuss \textbf{Isotanta}, a crowdsourced benchmarking platform, as a practical example of contributed questions and repeated evaluation. A larger question pool may improve task coverage, while repeated sampling can improve the stability of estimates on that pool; neither guarantees validity or personalization. The paper distinguishes the platform's current shared ranking from proposed task-specific and user-provided evaluations. Its central argument is that model selection requires evidence about performance on the intended work, not simply a high position on a general leaderboard.
• Abstract（参考訳）: ベンチマークスコアは、大規模言語モデル(LLM)の開発、マーケティング、選択にますます影響を及ぼす。 しかし、総合的なスコアは、テストされたシステム、含められた質問、評価の条件に関してのみ解釈される。 この観点からは、評価システムと一般公開システムの違い、商業的なインセンティブと外部評価への依存、ベンチマーク飽和、欠陥テスト、データ汚染、スコアリング手順を利用したモデル、ユーザのタスクに対する一般的なスコアの限定的関連性といった、一般的なLCMランキングの5つの関連性について考察する。 文書化されたケースは、これらの問題がなぜ異なる応答を必要とするかを示している。 テストされた構成を開示し、質問を検証し、タスク完了を成功させ、コストと実行時間とともにパフォーマンスを報告し、一般化の範囲を明確にする評価手順について論じます。 次に、クラウドソースのベンチマークプラットフォームである‘textbf{Isotanta}’について、コントリビューションされた質問と繰り返し評価の実践例として論じます。 大きな質問プールはタスクカバレッジを改善し、繰り返しサンプリングは、そのプールにおける見積もりの安定性を改善する。 本論文は,提案したタスク特化評価とユーザ提供評価とを,プラットフォームが現在共有しているランキングとを区別する。 その中心的な主張は、モデル選択は、単に一般的なリーダーボード上の高い位置ではなく、意図した作業におけるパフォーマンスに関する証拠を必要とすることである。

関連論文リスト

• Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement [13.774572921429217]
  BINEVALは評価基準を原子二分問題に分解するフレームワークである。 タスクプロンプトが与えられたとき、メタプロンプトはきめ細かい評価質問を生成する。 LLMはそれぞれの出力に対して独立して答え、透過的な質問レベルのフィードバックをもたらす。
  論文  参考訳（メタデータ） (2026-06-25T16:14:50Z)
• Benchmark Everything Everywhere All at Once [28.30618112297148]
  ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。 本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。 テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
  論文  参考訳（メタデータ） (2026-06-04T17:52:04Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
  本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。 我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。 提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
  論文  参考訳（メタデータ） (2025-11-20T22:49:21Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
  自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
  論文  参考訳（メタデータ） (2023-07-13T16:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。