論文の概要: Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks
- arxiv url: http://arxiv.org/abs/2608.02966v1
- Date: Mon, 03 Aug 2026 23:59:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.967477
- Title: Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks
- Title（参考訳）: LLMマルチコースベンチマークのためのオプションレベル心理メトリクス
- Abstract要約: LLM Nominal Response Model (LLM-NRM)を導入する。
誤った回答は、等価な誤りを表すのではなく、明瞭で有用な測定情報を持っていることを示す。
- 参考スコア（独自算出の注目度）: 19.555897987977445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most multiple-choice question (MCQ) benchmarks evaluate Large Language Models (LLMs) only by whether they select the correct answers. This binary scoring treats all incorrect responses alike, even though an LLM's preferences among incorrect options may contain systematic and useful information about its behavior and ability. We introduce the LLM Nominal Response Model (LLM-NRM), an option-aware psychometric framework that models the full distribution over answer choices to jointly estimate LLM ability and option-level item characteristics, while separating model-specific response calibration sharpness, positional preference, and difficulty-dependent fallback behavior. Across 189 LLMs and 31,554 items from 14 benchmarks, LLM-NRM predicts held-out LLM-item interactions more accurately than binary Item Response models and conventional nominal-response baselines, and its ability estimates achieve the strongest Spearman correlation of 0.920 with the external human-preference Arena.ai Elo leaderboard. Distractor identity contributes +101% additional Fisher Information per item beyond correctness, and incorrect responses alone recover full-information ability estimates with Spearman 0.943. The learned item parameters also enable efficient benchmarking, where 41 selected items preserve the full-bank ranking with Kendall's correlation 0.85, corresponding to a 770 times reduction. In conclusion, we show that incorrect answers carry distinct and useful measurement information rather than representing equivalent mistakes.
- Abstract（参考訳）: ほとんどのマルチ選択質問(MCQ)ベンチマークは、正しい答えを選択するかどうかによってのみ、Large Language Models (LLMs)を評価する。
このバイナリスコアリングは、LLMの誤った選択肢に対する選好が、その振る舞いと能力に関する体系的で有用な情報を含んでいるとしても、すべての誤った反応を扱います。
LLMの能力とオプションレベルの項目特性を共同で推定し、モデル固有の応答キャリブレーションのシャープネス、位置選好、難易度に依存したフォールバック挙動を分離する。
LLM-NRMは、14のベンチマークから189個のLSMと31,554個の項目にわたって、バイナリアイテム応答モデルや従来の名目応答ベースラインよりも正確にLLM-itemの相互作用を予測し、その能力推定は、外部の人間の参照であるArena.ai Eloのリーダーボードと0.920の最も強いスピアマン相関を達成した。
ディトラクタのアイデンティティは、アイテム当たり101%以上のフィッシャー情報を提供し、誤応答だけでSpearman 0.943による完全な情報能力の推定を回復する。
学習項目パラメータは効率的なベンチマークも可能で、41の項目が770倍の減少に対応するKendall's correlation 0.85でフルバンクのランクを維持している。
結論として, 誤った回答は, 等価な誤りを表すのではなく, 独特で有用な測定情報を持っていることを示す。
関連論文リスト
- Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Auditing LLM Benchmarks with Item Response Theory [1.1455131351238124]
LLMベンチマークラベルはリリース時に凍結され、ダウンストリームベンチマークやエラーなどすべてに静かに伝播する。
項目応答理論に基づくインジケータを導入し、上位200の例で95%の精度で誤ラベルをサーフェスする。
我々はこれらの誤りを、機械的なラベル付け、ソースデータセットから受け継がれていない上流のアノテーションの誤り、および基本的には修正可能なシングルラベルのない曖昧な項目まで追跡する。
論文 参考訳（メタデータ） (2026-05-28T19:38:44Z) - From Stochastic Answers to Verifiable Reasoning: Interpretable Decision-Making with LLM-Generated Code [0.0]
大規模言語モデル(LLM)は、高い意思決定にますます使われている。
ブラックボックスモデルはそれらの推論を曖昧にし、最近のLCMベースのルールシステムはサンプル単位の評価に依存している。
我々は,LLMをインスタンスごとの評価器ではなくコードジェネレータとして再フレーミングすることを提案する。
論文 参考訳（メタデータ） (2026-02-28T00:27:29Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Self-ensemble: Mitigating Confidence Mis-calibration for Large Language Models [67.62810111789338]
大規模言語モデルでは,複数問合せ質問に対する信頼度歪みが問題となる。
この問題を解決するために自己組織化を提案する。
3つのLLMおよびデータセットの実験結果から,自己アンサンブルが信頼歪問題に包括的に対処できることが示されている。
論文 参考訳（メタデータ） (2025-06-02T17:59:29Z) - SATA-BENCH: Select All That Apply Benchmark for Multiple Choice Questions [17.12876663526222]
大規模言語モデル(LLM)は、単一回答の複数選択タスクでますます評価される。
多くの実世界の問題は、選択肢の集合から正しい答えを識別する必要がある。
SATA-BENCHは、Select All That Apply 質問における LLM の評価のための最初の専用ベンチマークである。
論文 参考訳（メタデータ） (2025-05-31T17:14:21Z) - None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks [0.9831489366502301]
本稿では,これまで見られたトークンや概念から正解を完全に解離する,複数選択質問に対する一般的な変分手法を提案する。
この手法を用いて、英語とスペイン語で利用可能な2つのデータセットに基づいて、最先端のプロプライエタリおよびオープンソースLLMを評価する。
その結果, MMLUでは平均57%, UNED-Access 2024では50%の精度低下がみられた。
論文 参考訳（メタデータ） (2025-02-18T14:32:44Z) - LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。
バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文 参考訳（メタデータ） (2024-10-27T16:23:26Z) - Listening to the Wise Few: Select-and-Copy Attention Heads for Multiple-Choice QA [19.78468832417275]
モデルの基礎となる知識を捕捉し、明らかにする新しいスコアを導入します。
これらの結果から,LLaMA2-7Bでは知識抽出が最大16%向上した。
モデルが正しい答えを明示的に知っている単純な合成データセットの精度は、ほぼ60%向上する。
論文 参考訳（メタデータ） (2024-10-03T09:53:48Z) - Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか?
LLMの事実知識を評価する統計的手法であるKaRRを提案する。
この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
論文 参考訳（メタデータ） (2023-05-17T18:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。