Fugu-MT 論文翻訳(概要): Position: Evaluation Scores Are Perishable Knowledge Claims

論文の概要: Position: Evaluation Scores Are Perishable Knowledge Claims

arxiv url: http://arxiv.org/abs/2607.26191v1
Date: Tue, 28 Jul 2026 18:50:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-30 21:06:25.452576
Title: Position: Evaluation Scores Are Perishable Knowledge Claims
Title（参考訳）: ポジション:評価スコアは分かりやすい知識主張
Abstract要約: 評価スコアは、形式性、スコープ、妥当性の3つの特性を持つクレームとして扱われるべきである。 HELMリーダーボードにおける平均アグリゲーションのコストについて説明する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Evaluation methodologies for language models increasingly combine multiple signals, from automated metrics and LLM-as-judge ratings to human assessments and benchmark suite results. When these signals are aggregated via averaging, evaluation confidence can then substantially exceed the reliability of the weakest signal: a phenomenon we call trust inflation in evaluation. We argue that evaluation scores should be treated as epistemic claims with three properties: formality (human evaluation provides stronger evidence than an automated metric), scope (a benchmark result applies to the tested distribution, not universally), and validity windows (benchmark results expire as contamination accumulates and distributions shift). Several converging research traditions (chain-of-thought analysis, possibilistic logic, and algebraic theory) establish weakest-link aggregation as the conservative endpoint of a parameterized operator family controlled by a single pessimism parameter. Drawing on those traditions, and on concrete lessons from building an evaluation harness for agentic AI, we propose that evaluation results carry explicit metadata (formality tier, scope declaration, and expiration date) to make their epistemic status transparent. We illustrate the cost of mean aggregation on the public HELM leaderboard: across 54 frontier models on ten scenarios, the top-five models ranked by mean score and by weakest-link are completely disjoint.
Abstract（参考訳）: 言語モデルの評価手法は、自動メトリクスやLCM-as-judge評価から人的評価やベンチマークスイートの結果まで、複数の信号を組み合わせている。これらの信号が平均化によって集約されると、評価信頼度は最も弱い信号の信頼性を大幅に上回る。評価スコアは3つの特性を持つ認識的クレームとして扱われるべきである: 形式性(人間の評価は自動測定値よりも強い証拠を提供する)、スコープ(テストされた分布に適用されるベンチマーク結果)、妥当性ウィンドウ(汚染が蓄積し、分布がシフトするにつれてベンチマーク結果が終了する)。いくつかの収束研究の伝統(チェーン・オブ・思想分析、確率論的論理、代数理論)は、単一の悲観的パラメータによって制御されるパラメータ化作用素族の保守的な終点として最も弱いリンク集約を確立する。これらの伝統に基づいて、エージェントAIの評価ハーネスの構築による具体的な教訓に基づき、評価結果が明示的なメタデータ(形式的階層、スコープ宣言、有効期限)を持ち、てんかんの状態を透明にすることを提案する。 10のシナリオで54のフロンティアモデルにまたがって、平均スコアと最弱リンクでランク付けされたトップ5モデルは完全に不一致である。

関連論文リスト

The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
論文参考訳（メタデータ） (2026-09-06T21:23:11Z)
DualEval: Joint Model-Item Calibration for Unified LLM Evaluation [67.99119926012686]
DualEvalは、モデルと評価項目を共有空間で表現する潜在モデルイテムキャリブレーションフレームワークである。我々はDualEvalを、コーディング、数学、雑多なドメイン知識タスク、汎用的な日常的なユーザクエリの4つの領域にまたがって適用する。
論文参考訳（メタデータ） (2026-06-24T22:40:46Z)
DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。 DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
論文参考訳（メタデータ） (2026-02-21T19:14:31Z)
Adaptive and Robust Cost-Aware Proof of Quality for Decentralized LLM Inference Networks [2.621929201001929]
我々は、対向レジリエントなコンセンサス形成を追加することで、コスト意識による品質証明機構を拡張した。我々は評価器の信頼性を定量化し、相関を逆転できるタスク依存のミスアライメントを含む評価器間の強いばらつきを示す。これらの発見は、コストを意識したProof of Qualityのデフォルトコンポーネントとして、堅牢なコンセンサスを動機付けている。
論文参考訳（メタデータ） (2026-01-29T02:39:40Z)
Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文参考訳（メタデータ） (2025-09-29T12:15:52Z)
Garbage In, Reasoning Out? Why Benchmark Scores are Unreliable and What to Do About It [1.6261897792391753]
我々は、SocialIQa、FauxPas-EAI、ToMiの3つの広く使われている推論ベンチマークの体系的な監査を行う。ベンチマーク項目と評価手法の両方において,広範な欠陥を明らかにする。
論文参考訳（メタデータ） (2025-06-30T13:57:28Z)
RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文参考訳（メタデータ） (2025-05-28T14:55:33Z)
Where is this coming from? Making groundedness count in the evaluation of Document VQA models [12.951716701565019]
一般的な評価指標は、モデルの出力のセマンティックおよびマルチモーダルな基礎性を考慮しない。本稿では,予測の基盤性を考慮した新しい評価手法を提案する。提案手法は,ユーザが好みに応じてスコアを設定できるようにパラメータ化されている。
論文参考訳（メタデータ） (2025-03-24T20:14:46Z)
A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
論文参考訳（メタデータ） (2024-05-02T13:48:37Z)
GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文参考訳（メタデータ） (2023-04-19T14:58:27Z)
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文参考訳（メタデータ） (2022-12-15T17:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。