論文の概要: On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs

• arxiv url: http://arxiv.org/abs/2610.23400v1
• Date: Fri, 16 Oct 2026 12:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.916398
• Title: On the Tip of the Tongue: First-Token Cueing as a Behavioral Probe of Recall Failures in LLMs
• Title（参考訳）: LLMにおけるリコール障害の行動プローブとしてのファースト・ツーケン・キューについて
• Abstract要約: 多くのクローズドブックエラーは、第一にリコール失敗であることを示す。 我々は、金の答えの最初のトークンで応答をプリフィルする行動プローブであるFirst-Token Cueingを用いてこれを研究した。 16個のオープンモデルにまたがって、このトークンは英語のQAにおける多点解の5分の1から半分の誤差を補正する。
• 参考スコア（独自算出の注目度）: 8.902793668615567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models often answer factual questions incorrectly in closed-book settings, and such errors are usually attributed to missing knowledge. Yet models often encode answers they fail to produce. We show that many closed-book errors are first-token recall failures: the model commits to a wrong first token, but once given the right one it completes the answer and often recognizes it as correct. We study this with First-Token Cueing, a behavioral probe that prefills the response with the first token of the gold answer. Model uncertainty peaks at the first answer token, where it already predicts correctness, and among gold prefixes of any length the first token alone accounts for the largest share of recovered errors. Across 16 open models, this one token corrects between a fifth and a half of the errors on multi-token answers in English QA and improves accuracy in all seven languages of a multilingual benchmark. Most of the errors it corrects are also solved by the model's own sampled reasoning, a criterion for encoded knowledge, and models recognize correct starts they do not produce: they continue a correct start more confidently than an incorrect start of the same answer type and prior probability, yet rarely find it without the gold answer. These results locate a recoverable class of factual errors at the first decoding step, where inference-time methods may gain the most.
• Abstract（参考訳）: 大規模言語モデルは、クローズドブックの設定で事実の質問に誤って答えることが多く、そのような誤りは通常、知識の欠如に起因する。 しかし、モデルはしばしば、生成できない回答をエンコードします。 モデルは間違った最初のトークンにコミットするが、正しいトークンが与えられたら答えを完了し、しばしば正しいと認識する。 我々は、金の答えの最初のトークンで応答をプリフィルする行動プローブであるFirst-Token Cueingを用いてこれを研究した。 モデル不確実性は、既に正当性を予測している最初の応答トークンでピークに達し、任意の長さの金の接頭辞の中で、最初のトークンのみが回復されたエラーの最大のシェアを占める。 16個のオープンモデルにまたがって、このトークンは英語のQAにおけるマルチトークン回答の5分の1のエラーを修正し、多言語ベンチマークの7言語すべてで精度を向上させる。 訂正されたエラーのほとんどは、モデル自身のサンプル推論、符号化された知識の基準、そしてモデルが生成しない正しい開始を認識することによって解決される。 これらの結果は、推論時メソッドが最も多く得る最初のデコードステップで、回復可能な事実エラーのクラスを見つける。

関連論文リスト

• Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning [6.995468813502183]
  本稿では,トークン単位のポテンシャルが適応しきい値以下で著しく低下するトークンである崖トークンを紹介する。 7つのモデルと3つの数学的推論ベンチマークで、崖のトークンが障害トリガーとして機能する。 我々は, 決定論的, 不確実, サンプルオフの崖を, 欲求選択とトークンエントロピーによって定義した崖分類を導入する。
  論文  参考訳（メタデータ） (2026-06-24T08:03:24Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Universal Adversarial Suffixes Using Calibrated Gumbel-Softmax Relaxation [9.099589602551573]
  我々は,任意の入力に付加されたユニバーサル逆接接尾辞について検討し,タスクやモデル間での精度を広く低減する。 提案手法は,Gumbel-Softmax 緩和を用いた微分可能な「ソフト」形式で接尾辞を学習し,推論のために識別する。 あるモデルで訓練された1つの接尾辞は、他のモデルに効果的に転送され、常に精度と精度の調整の両方を低下させる。
  論文  参考訳（メタデータ） (2025-12-09T00:03:39Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• GRACE: Discriminator-Guided Chain-of-Thought Reasoning [75.35436025709049]
  本稿では, 正しい推論手順を導出するために, GRACE (CorrectnEss Discriminator) を用いたチェーン・オブ・シークレット・リAsoningを提案する。 GRACEは、正しいステップと間違ったステップに対して対照的な損失で訓練された判別器を採用しており、復号時に次のステップ候補を採点するために使用される。
  論文  参考訳（メタデータ） (2023-05-24T09:16:51Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。