論文の概要: Scoring the Wrong Question: Readout Failures in Constrained-Option Evaluation
- arxiv url: http://arxiv.org/abs/2609.33179v1
- Date: Sun, 27 Sep 2026 03:58:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 02:29:50.014747
- Title: Scoring the Wrong Question: Readout Failures in Constrained-Option Evaluation
- Title（参考訳）: 誤った質問のスコーリング:制約されたオプティオン評価における読み出し障害
- Abstract要約: 本稿では,複数の選択項目を引用したプロンプトについて検討し,各項目の回答指示に終止符を打つ。
我々は、短いメモのみを与えられた読者モデルが正しく答えるかどうかの予測を求める。
3つのQwen3チェックポイントでは、回答レターが最も可能なトークンである。
- 参考スコア（独自算出の注目度）: 8.13968851214856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Constrained-option scoring reads a model's probabilities for a fixed set of permitted answers, so it returns a score even when the model is about to write something else. We study a prompt that quotes a multiple-choice item, ending in the item's own answer instruction, and asks for a forecast of whether a reader model given only a short note will answer it correctly. The model can begin answering the quoted item: on three Qwen3 checkpoints an answer letter is the most probable token on nearly every passage, and the forecast ranks the reader's correctness indistinguishably from chance. Beyond prior work's argmax check and prefill repair, we contribute a label-free diagnostic of the declared options' support, their first-token mass in context; a deletion test tracing the Qwen3 answer-letter start to the quoted instruction; and rendering and tokenisation checks for dropped separators and coinciding first tokens. Prefilling an answer stem lifts the median option mass from below to above one half on all nine checkpoints scored with this prompt and, with options and renormalisation unchanged, raises the Qwen3-averaged AUC from 0.4929 to 0.6152. lm-polygraph's default P(True) estimator shows a related failure: it reads True where Qwen3 without thinking favours an answer letter (MMLU) or the prompt's (A)/(B) label (TriviaQA), and its Qwen3-averaged AUROC is indistinguishable from chance on MMLU and below chance on TriviaQA. Scoring and renormalising the (A)/(B) labels after an answer stem raises it to 0.632 and 0.868, renormalising True against False in place reaches 0.660 and 0.860, and on TriviaQA both exceed all fourteen default single-answer library estimators. The original forecast is renormalised too, yet stays indistinguishable from chance: option mass flags low support in both settings without labels, and only checking the intended target shows which score still ranks.
- Abstract（参考訳）: 制約付きオプションスコアは、一定の解答の集合に対してモデルの確率を読み取るので、モデルが何か別のものを書き出そうとしているときでもスコアを返す。
本稿では,複数選択項目を引用し,項目自身の回答命令で終了するプロンプトについて検討し,短いメモのみを与えられた読者モデルが正しく回答するかどうかの予測を求める。
3つのQwen3チェックポイントでは、回答レターがほぼすべてのパスで最も確率の高いトークンであり、予測は読者の正しさを偶然と区別しないランク付けをする。
先行作業のargmaxチェックとプリフィルの修正に加えて、宣言されたオプションのサポートのラベルなし診断、ファーストトークンのコンテキストにおける最初の大衆化、Qwen3応答レターをトレースする削除テストが引用命令に始まり、ドロップしたセパレータのレンダリングとトークン化チェックとファーストトークンのコイン化に寄与する。
回答ステムを埋めることによって、このプロンプトで得られた9つのチェックポイントのうち、中央値のオプション質量を下方から上方へ引き上げることができ、オプションと再正規化は変化せず、Qwen3平均AUCは0.4929から0.6152に上昇する。
lm-polygraph のデフォルト P(True) 推定器は、True where Qwen3 without think is favors a answer letter (MMLU) or the prompt's (A)/(B) label (TriviaQA) と読み、Qwen3 の平均値 AUROC は MMLU の確率と区別できない。
A)/(B)ラベルの解答ステム後のスコーリングとリノベーションは0.632と0.868に増加し、True対Falseのリノベーションは0.660と0.860に到達し、TriviaQAではどちらも14のデフォルトのシングルアンサーライブラリ推定値を超える。
オプションのマッサージフラグ ラベルなしで両方の設定でサポートが低いこと 対象とするターゲットの表示のみをチェックすること。
関連論文リスト
- Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。
我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
論文 参考訳（メタデータ） (2026-09-24T11:16:53Z) - Reasoning Instructions Can Break Answer Decoding in Vision--Language Models [8.569831218454535]
CoT(Chain-of- Thought)命令は、スコアラーが推論キューを付加するが、モデルが論理を生成する前に応答ラベルのロジットを読み取ると、複数の選択VLM評価を歪めることができる。
科学QAでは、Qwen2.5-VL-7Bは80.76%から45.48%に低下し、CoT-予測の93.54%が最初のスロットを選択する。
論文 参考訳（メタデータ） (2026-09-24T09:15:56Z) - Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳（メタデータ） (2026-08-30T17:58:49Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - Unmatched Does Not Mean False: Incomplete Reference Sets Can Reverse Calibration Rankings in Open-Ended Theory-of-Mind Tracking [0.5735035463793009]
Open-ended Theory-of-Mind (ToM) トラッカーは有限参照を欠く有効な信念を出力する。
有限参照+マーチャントパイプラインは、不正な出力をマークし、適切なスコアモデル選択をリバース可能なプロキシラベルを生成する。
論文 参考訳（メタデータ） (2026-08-26T11:36:31Z) - Latent Undertow: How Ordinary Typos Break Probes [1.3636639880574484]
タイプミスや句読点の欠如によって、ユーザの意図とモデルの反応は瞬時に変化しない。
しかし、モデルの隠れ状態を読むことによって悪意のあるプロンプトを検出するプローブは、異なるストーリーを語る:同じ編集で、摂動トークンで読み出しベクトルを43-56回転させ、10下流トークンで15%以下で崩壊する。
メッセージごとに3つの共通型を積み重ねると、シングルポジションのプロンプトインジェクションプローブのTPR@FPR$=1% が 12.0pp にカットされる。
論文 参考訳（メタデータ） (2026-07-08T11:41:43Z) - Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳（メタデータ） (2026-06-29T08:36:33Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。
本稿では,ユーザの目標が目標間隔として指定される設定について検討する。
我々は、共形予測を反転させて確率推定を計算する。
論文 参考訳（メタデータ） (2022-11-29T18:41:20Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。