論文の概要: Oops, Wait: Token-Level Signals as a Lens into LLM Reasoning

• arxiv url: http://arxiv.org/abs/2601.17421v1
• Date: Sat, 24 Jan 2026 11:43:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.726224
• Title: Oops, Wait: Token-Level Signals as a Lens into LLM Reasoning
• Title（参考訳）: LLMレゾネーティングにレンズとして使えるToken-Level信号(動画あり)
• Authors: Jaehui Hwang, Dongyoon Han, Sangdoo Yun, Byeongho Heo,
• Abstract要約: 大規模言語モデル(LLM)では、"wait"や"therefore"といった談話のようなトークンが、その推論プロセスにユニークなウィンドウを提供しています。 トークンレベルの信号は,様々なモデルにまたがるトークン確率を通して解析する。
• 参考スコア（独自算出の注目度）: 61.76889440384448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of discourse-like tokens such as "wait" and "therefore" in large language models (LLMs) has offered a unique window into their reasoning processes. However, systematic analyses of how such signals vary across training strategies and model scales remain lacking. In this paper, we analyze token-level signals through token probabilities across various models. We find that specific tokens strongly correlate with reasoning correctness, varying with training strategies while remaining stable across model scales. A closer look at the "wait" token in relation to answer probability demonstrates that models fine-tuned on small-scale datasets acquire reasoning ability through such signals but exploit them only partially. This work provides a systematic lens to observe and understand the dynamics of LLM reasoning.
• Abstract（参考訳）: 大規模言語モデル (LLM) における "wait" や "therefore" のような談話のようなトークンの出現は、彼らの推論プロセスにユニークな窓を提供する。 しかし、そのような信号が訓練戦略やモデルスケールによってどのように異なるかの体系的な分析は依然として不十分である。 本稿では,各種モデルのトークン確率を用いてトークンレベル信号を解析する。 特定のトークンは推論の正しさと強く相関し、トレーニング戦略と異なるが、モデルスケール全体で安定している。 応答確率に関する"待機"トークンを詳しく見てみると、小規模データセットで微調整されたモデルは、そのような信号を通して推論能力を得るが、部分的にしか利用しないことを示している。 この研究は、LLM推論の力学を観察し理解するためのシステマティックレンズを提供する。

関連論文リスト

• Modeling Hierarchical Thinking in Large Reasoning Models [2.429493364781869]
  大規模言語モデル(LLM)は、ステップバイステップのソリューションを生成する際に顕著な推論能力を示す。 連鎖推論の例を使って訓練すると、結果として得られたモデルは、人間が使用するものに似た階層的な思考戦略を学ぶように見える。 本稿では, LRMの階層的推論力学を構造的, 解釈可能な抽象化として近似するために, メモリレス有限状態機械の定式化を採用する。
  論文  参考訳（メタデータ） (2025-10-25T21:25:30Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Forking Paths in Neural Text Generation [14.75166317633176]
  テキスト生成の個々のトークンにまたがる不確実性のダイナミクスを表現するための新しいアプローチを開発する。 4つの領域にわたる7つのタスクにおけるLLM応答の解析に本手法を用いる。 句読点などの驚くべきものを含む、トークンをフォークする多くの例を見出す。
  論文  参考訳（メタデータ） (2024-12-10T22:57:57Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• LLMs are Not Just Next Token Predictors [0.0]
  LLMは、次のトークン予測目標を持つ勾配降下による言語学習の統計モデルである。 LLMは次のトークン予測を用いて設計され、このタスクの成功に基づいてトレーニングされていますが、次のトークン予測器への還元はLLMを短く販売する、というのが私たちの見解です。 これを引き出すため、遺伝子の観点から進化と発達を説明する生物学におけるかつての著名な研究プログラムと類似する。
  論文  参考訳（メタデータ） (2024-08-06T16:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。