論文の概要: Beyond the Opening: Tracing the First Token's Persistent Influence on Reasoning Length

• arxiv url: http://arxiv.org/abs/2610.34350v1
• Date: Sun, 25 Oct 2026 15:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.582163
• Title: Beyond the Opening: Tracing the First Token's Persistent Influence on Reasoning Length
• Title（参考訳）: オープニングを超えて--第1回トークンの持続的影響が推論長に及ぼす影響
• Abstract要約: 本研究は,第1のトークンの影響がその後の世代でどのように作用するかを考察する。 感度は少数の生成位置に集中していることが分かりました。 これらの位置における異なる第1トークン状態からの次トーケン分布を用いると、その後の推論長も大幅に変化する。
• 参考スコア（独自算出の注目度）: 28.134925563754816
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Understanding how individual token choices affect reasoning length is important for characterizing reasoning models. Building on prior findings that changing the first reasoning token (hereafter, the first token) can substantially alter reasoning length, we focus on this initial choice to investigate how its influence operates during subsequent generation. One possibility is that the first token changes the early text that follows, which in turn affects reasoning length. However, replacing only the first token of an existing reasoning prefix and resuming generation substantially changes the remaining reasoning length, even though all other prefix tokens are unchanged. To trace this persistent influence, we compare next-token distributions while varying only the first token and find that sensitivity is concentrated at a small set of generation positions. Blocking attention from these positions to the first token reduces the length gap between first-token conditions. Using next-token distributions from a different first-token condition at these positions also substantially changes subsequent reasoning length. Together, these findings suggest that attention to the first token at a few sensitive positions helps sustain its length effect, illustrating how a local token choice persistently influences a sequence-level outcome.
• Abstract（参考訳）: 個々のトークン選択が推論長にどのように影響するかを理解することは、推論モデルの特徴付けに重要である。 第1の推論トークン(以下、第1のトークン)を変更することで、推論の長さが大幅に変化するという以前の知見に基づいて、この初期選択に注目し、その影響がその後の世代でどのように動作するかを調べる。 1つの可能性は、最初のトークンが後続する初期テキストを変更することである。 しかし、既存の推論プレフィックスの最初のトークンのみを置換し、再開した生成は、他のすべてのプレフィックストークンが変更されていないにもかかわらず、残りの推論長を実質的に変更する。 この持続的な影響を追究するために、第1のトークンのみを変化させながら次のトークン分布を比較し、感度が小さな生成位置に集中していることを見出した。 これらの位置から第1のトークンへの注意を遮ることにより、第1のトークン条件の間の長さギャップが減少する。 これらの位置における異なる第1トークン状態からの次トーケン分布を用いると、その後の推論長も大幅に変化する。 これらの結果は、いくつかの感度の高い位置における最初のトークンへの注意が、その長さ効果の維持に役立つことを示唆し、局所トークンの選択がシーケンスレベルの結果に持続的に影響を及ぼすことを示す。

関連論文リスト

• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• On the Token Value Inequality in Efficient Reasoning [68.73741968444614]
  連鎖推論により、大規模な言語モデルによって複雑なタスクにおいて大幅なパフォーマンス向上が達成された。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では,重要な経験的発見を基盤とした診断・最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-27T22:15:38Z)
• Decoupling Token Roles in Autoregressive Pretraining [64.8145310915365]
  ノイズの多いトークンを予測しやすくすることは、ターゲットとしてのダメージを減少させるが、コンテキストとして増大させる。 同じ分離は、言語モデルによって生成されたテキストを説明するのに役立つ。
  論文  参考訳（メタデータ） (2026-09-27T09:33:02Z)
• Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification [10.253470382293614]
  大規模言語モデルは、様々な推論タスクで印象的なパフォーマンスを示している。 最近の研究は批判的トークンの概念を導入し、その後のステップに大きな影響を及ぼす推論プロセスに焦点をあてている。 本稿では,重要なトークンを確実に識別し,活用するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T20:48:52Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• CoPRS: Learning Positional Prior from Chain-of-Thought for Reasoning Segmentation [51.25997439181537]
  CoPRSは、ヘアマップとしてインスタンス化された、微分可能で解釈可能な位置推定を通じて、セグメンテーションへの言語推論をブリッジする。 学習可能な集中トークンは、画像の特徴と推論テキストを集約して、この位置先を生成する。
  論文  参考訳（メタデータ） (2025-10-13T09:07:54Z)
• Causal Estimation of Tokenisation Bias [58.20086589761273]
  我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。 トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。 特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:47Z)
• Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention [0.0]
  この区別によって、自己注意型アーキテクチャにおける自発的なトピックの変化を特徴付ける。 人間の認知とは異なり、より長い文脈の長さまたはより曖昧な入力トピックは、自発的な変化の可能性を減少させる。
  論文  参考訳（メタデータ） (2025-01-10T23:18:23Z)
• Predicting Token Impact Towards Efficient Vision Transformer [9.349427774462365]
  自己注意の前に無関係なトークンを減らすためのトークンフィルタリングは、効率的な視覚変換を実現するための簡単な方法である。 これは、機能選択の観点からトークンフィルタリングを閲覧する最初の作業であり、一度マスクされた損失をどの程度変えられるかに応じてトークンの重要性を重み付けします。 提案手法は, バックボーンを微調整により最適化した後, 光重み付きモデルに効率よくアプローチする方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T07:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。