論文の概要: Likelihood Ranking doesn't Scale Like Prompting in LLMs

• arxiv url: http://arxiv.org/abs/2609.29390v2
• Date: Fri, 25 Sep 2026 06:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.05336
• Title: Likelihood Ranking doesn't Scale Like Prompting in LLMs
• Title（参考訳）: LLMで「いいね!」のランク付けはプロンプティングのようにスケールしない
• Abstract要約: 多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
• 参考スコア（独自算出の注目度）: 91.56564968539271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM evaluation is commonly performed either by prompting models to produce answers or by scoring candidate outputs with likelihood-based metrics. In multiple-choice QA, however, standard likelihood-based scoring is still conditioned on the question and answer set, and can therefore leverage the same task-conditioned answer-selection interface used in prompting. We study a complementary protocol based on likelihood ranking of declarative statements constructed from the same question--answer pairs. Across 95 decoder-only models, ranging from 0.1B to 104B parameters, and 10 MCQA datasets, we find a systematic divergence between declarative-statement likelihood ranking and prompted answering. Statement-likelihood accuracy remains comparatively stable across scale, whereas prompted answering improves sharply with scale and instruction-tuning. These results suggest that likelihood preferences over controlled declarative alternatives and task-conditioned answer selection probe distinct aspects of model behavior, and should not be treated as interchangeable.
• Abstract（参考訳）: LLM評価は、モデルに解答を促すか、確率ベースのメトリクスで候補出力を評価することによって行われる。 しかし、複数選択QAでは、標準確率ベースのスコアリングは質問と回答セットでまだ条件付けられており、それゆえ、プロンプトに使用されるタスク条件の答え選択インターフェイスを活用できる。 我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。 95以上のデコーダのみのモデルでは、0.1Bから104Bのパラメータと10のMCQAデータセットから、宣言文の格付けと解答の導出の間に体系的な違いが見つかった。 文の精度は比較的安定しているが、解答はスケールと命令チューニングによって大幅に改善される。 これらの結果は、制御された宣言的選択肢やタスク条件付き回答選択よりも、確率的な選好がモデル行動の異なる側面を探索し、交換可能なものとして扱うべきではないことを示唆している。

関連論文リスト

• How Correct Is Your Answer? A Semantic Correctness Framework for Open QA Evaluation [38.482877747109946]
  本研究では,8つのクラスに有意な回答を割り当てる意味的正当性分類を導入し,有意な内容によって汚染されたものから有意な回答を分離する。 次に、広く使用されているQAデータセットにまたがる8.8kサンプルベンチマークであるCAP-Correctnessと、質問応答ペアを宣言文に変換する11kサンプルデータセットであるCAP-Statementsをリリースする。 第三にCAP(Context-Aware Precision)は、双方向NLIを用いて質問条件文をスコアする参照ベースのメトリクスである。
  論文  参考訳（メタデータ） (2026-09-01T15:06:39Z)
• A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
  本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。 我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。 スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
  論文  参考訳（メタデータ） (2026-07-19T08:59:19Z)
• ABCD: All Biases Come Disguised [4.603755953026689]
  MCQ(Multiple-choice Question)ベンチマークは標準的な評価手法である。 本稿では,各質問のラベルを一様無順序ラベルに置き換える,単純なバイアス低減評価プロトコルを提案する。 このプロトコルは、平均モデルの性能を最小限に抑えつつ、平均精度のばらつきを3倍に減らし、置換に答えるロバスト性を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-19T15:12:33Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics [74.28810048824519]
  質問応答に基づく要約評価メトリクスは、QAモデルの予測が正しいかどうかを自動的に判断する必要がある。 筆者らは,現在QAベースのメトリクスで使用されている語彙的回答検証手法と,より洗練された2つのテキスト比較手法をベンチマークした。
  論文  参考訳（メタデータ） (2022-04-21T15:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。