論文の概要: Reasoning Can Be Restored by Correcting a Few Decision Tokens

• arxiv url: http://arxiv.org/abs/2605.16874v1
• Date: Sat, 16 May 2026 08:33:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.212073
• Title: Reasoning Can Be Restored by Correcting a Few Decision Tokens
• Title（参考訳）: 再調味料の補修で再調味料の回収が可能に
• Authors: Changshuo Shen, Leheng Sheng, Yuxin Chen, An Zhang, Xiang Wang,
• Abstract要約: トークンレベルの分布不一致を定量化することにより,基本共振ギャップについて検討する。 理由付けの利点は極めて希薄であり、計画に関する決定トークンのごく一部に集中していることが分かりました。 我々は、単純な推論時デリゲート方式である不一致誘導トークン介入を提案する。
• 参考スコア（独自算出の注目度）: 23.834168837720796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large reasoning models (LRMs) substantially outperform their base LLM counterparts on challenging reasoning benchmarks, yet it remains poorly understood where base models go wrong during token-by-token generation and how to narrow this gap efficiently. We study the base-reasoning gap through quantifying token-level distributional disagreement between a base model and a stronger reasoning model using likelihood-based divergences. Across benchmarks, we find that the reasoning advantage is highly sparse and concentrates on a small set of early, planning-related decision tokens. For instance, on Qwen3-0.6B, only ~8% of generated tokens account for the salient disagreement, and these tokens concentrate early in the response, are strongly enriched in planning-related decisions (17x), and coincide with high base-model uncertainty -- suggesting that base models fail mainly at early planning points that steer the subsequent reasoning trajectory. Building on these findings, we propose disagreement-guided token intervention, a simple inference-time delegation scheme that performs a one-token takeover by the reasoning model only at high-disagreement positions and immediately switches back to the base model. With a small intervention budget, this sparse delegation substantially recovers and can even surpass the performance of a same-size reasoning model on challenging reasoning tasks. Code is available at https://github.com/AlphaLab-USTC/RRTokenIntervention.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、挑戦的推論ベンチマークにおいて、ベースLLMよりも大幅に優れているが、トークン・バイ・トークン生成時にベースモデルがどこが悪いのか、このギャップを効率的に狭める方法については、いまだに理解されていない。 本研究では,基本モデルと強い推論モデルとのトークンレベルの分布不一致を,確率に基づく発散を用いて定量化することで,基底推論ギャップについて検討する。 ベンチマーク全体では、推論上の優位性は非常に低く、計画上の決定トークンの小さなセットに集中していることが分かりました。 例えば、Qwen3-0.6B では、生成されたトークンの 8% しか正当性の相違を説明せず、これらのトークンは反応の早い段階で集中しており、プランニング関連の決定(17x)に強く結びついており、ベースモデルの不確実性の高さと一致している。 提案手法は,高分解位置のみの推論モデルによるワン・ツーケン・テイクオーバを実行し,即座にベースモデルに切り替える単純な推論時デリゲート方式である。 小さな介入予算で、このスパースデリゲーションは実質的に回復し、挑戦的推論タスクにおいて同じサイズの推論モデルの性能を超えることができる。 コードはhttps://github.com/AlphaLab-USTC/RRTokenInterventionで入手できる。

関連論文リスト

• Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models [29.494777688316674]
  大規模推論モデル(LRM)は、最終的な答えを導き出す前に推論トレースを明示的に生成することにより、複雑な問題を解決するのに優れている。 しかし、世代が長くなるとメモリフットプリントが大幅に増加し、計算オーバーヘッドが増大し、LRMの効率が低下した。 この研究は、注意マップを用いて推論トレースの影響を分析し、興味深い現象を明らかにする。 推論においていくつかの決定クリティカルなトークンだけが最終解に向かってモデルを操り、残りのトークンは無視的に寄与する。
  論文  参考訳（メタデータ） (2026-01-26T11:31:40Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Do Thinking Tokens Help or Trap? Towards More Efficient Large Reasoning Model [7.8354921036790275]
  大きな推論モデル(LRM)は複雑な問題を解決するのに優れているが、過度なジレンマに直面している。 単純なタスクを扱う場合、思考トークンがオーバーロードされた冗長なレスポンスを生成することが多い。 これらのトークンは、リフレクションやバックトラックのような不要な高レベルの推論動作を引き起こし、効率を低下させる。
  論文  参考訳（メタデータ） (2025-06-30T13:30:33Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
  推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。 本稿では,FoReaL-Decodingを提案する。 一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
  論文  参考訳（メタデータ） (2025-06-08T05:08:32Z)
• Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
  Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。 推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。 我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
  論文  参考訳（メタデータ） (2025-05-08T15:01:06Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。