Fugu-MT 論文翻訳(概要): Quantifying Ranking Uncertainty in LLM Benchmarks

論文の概要: Quantifying Ranking Uncertainty in LLM Benchmarks

arxiv url: http://arxiv.org/abs/2607.16259v1
Date: Sun, 28 Jun 2026 11:19:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.062388
Title: Quantifying Ranking Uncertainty in LLM Benchmarks
Title（参考訳）: LLMベンチマークにおけるランクの不確かさの定量化
Abstract要約: 知識評価ベンチマークMMLUにおける不確実性の原因を分析した。仮説テストがどのように修正され、その効果を考慮に入れられるかを示す。
参考スコア（独自算出の注目度）: 4.297070083645049
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pretrained models are typically ranked on multi-task leaderboards to assess their effectiveness across diverse tasks. Rank confidence intervals were recently introduced as a method to quantify the uncertainty in these rankings by aggregating pairwise hypothesis tests. In this work, we analyze the sources of uncertainty in the knowledge evaluation benchmark MMLU and show how hypothesis tests can be modified to account for their effects. We demonstrate that ranking variability across MMLU subjects is substantial and should be considered when comparing LLMs or identifying the top-performing models.
Abstract（参考訳）: 事前訓練されたモデルは、様々なタスクで有効性を評価するために、通常マルチタスクのリーダーボードにランク付けされる。これらのランキングにおける不確かさを、ペアワイズ仮説テストの集計によって定量化する手法として、最近ランク信頼区間が導入された。本研究では,知識評価ベンチマークMMLUにおける不確実性の原因を分析し,その影響を考慮に入れた仮説テストの修正方法を示す。 MMLU対象者間でのランキングのばらつきは重要であり,LLMを比較したり,トップパフォーマンスモデルを特定する際に考慮すべきである。

関連論文リスト

Robust Conformal Consensus: Multi-Agent LLM-as-a-Judge Interval Evaluation with Conformal Prediction [7.792321858331646]
マルチエージェントLCM-as-a-Judge評価のためのロバストな不確実性推定フレームワークを提案する。異なるLLM裁判官の間隔を考慮し、より安定かつ信頼性の高い不確実性推定値を得る。提案手法は,複数の審査員にまたがる間隔に基づくアグリゲーションにより,より安定した評価結果が得られることを示す。
論文参考訳（メタデータ） (2026-09-06T03:55:09Z)
On the Stability of Prompt Ranking in Large Language Model Evaluation [9.718200364661675]
本稿では,ランダムシードや限定評価サブセットなど,変数の共通源下でのランク付け安定性について系統的に検討する。全体的なランク相関は、しばしば適度に高いが、トップパフォーマンスのアイデンティティは頻繁に変化し、信頼性の低い選択決定につながる。本稿では,性能と分散性の両方を考慮し,信頼度を低くした簡易な安定性を考慮した選択戦略を提案する。
論文参考訳（メタデータ） (2026-06-23T10:13:47Z)
Can LLM Rerankers Predict Their Own Ranking Performance? [73.21268576961573]
テキスト・リランカ内部QPPについて検討し, LLMリランカが生成したランキングの質を推定できるか? 学習自由度推定には, サンプルランキング間の距離特異な自己整合性と, リランカが直接生成する言語的信頼度を検討した。 TREC Deep Learning 2019--2022の4つのLCMによる実験では、自己整合性は最先端(SOTA)アプローチと競合し、ほぼすべての設定でキャリブレーションが向上している。言語的信頼を改善するために,2つの教師付き方法,Verbを提案する。
論文参考訳（メタデータ） (2026-06-02T11:57:27Z)
On Robustness and Reliability of Benchmark-Based Evaluation of LLMs [6.121856629864516]
LLM(Large Language Models)の有効性は通常、MMLU、ARC-C、HellaSwagなどのベンチマークによって評価される。実世界のアプリケーションは言語的多様性を伴い、同じ質問やクエリの様々なリワードでモデルの有効性を維持する必要がある。そこで我々は,LLMの頑健さをベンチマーク問題に言い換えて体系的に評価し,ベンチマークに基づく評価がモデル能力の信頼性を評価できるかどうかを検証した。
論文参考訳（メタデータ） (2025-09-04T08:43:27Z)
An Empirical Analysis of Uncertainty in Large Language Model Evaluations [28.297464655099034]
我々は2つの異なる評価条件で9つのLLM評価器を用いた実験を行った。 LLM評価器はモデルファミリやサイズによって様々な不確実性を示す。推論やポストトレーニングのときでも、特別なプロンプト戦略を採用することで、評価の不確実性をある程度軽減できることがわかった。
論文参考訳（メタデータ） (2025-02-15T07:45:20Z)
Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文参考訳（メタデータ） (2024-10-03T17:53:30Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文参考訳（メタデータ） (2024-04-08T14:15:56Z)
Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。我々はLSMに答えを自己評価するように指示する。自己評価に基づくスコアリング手法をベンチマークする。
論文参考訳（メタデータ） (2023-12-14T19:09:22Z)
Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文参考訳（メタデータ） (2023-11-03T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。