論文の概要: Do LLMs Encode Functional Importance of Reasoning Tokens?

• arxiv url: http://arxiv.org/abs/2601.03066v1
• Date: Tue, 06 Jan 2026 14:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.981042
• Title: Do LLMs Encode Functional Importance of Reasoning Tokens?
• Title（参考訳）: LLMは推論トークンの機能的重要性をコード化しているか?
• Authors: Janvijay Singh, Dilek Hakkani-Tür,
• Abstract要約: 推論トークンを反復的に除去する確率保存的削除手順であるgreedy pruningを提案する。 本研究では, プルーニングチェーンを訓練した学生が, 一致した推論長でフロンティアモデルによる圧縮ベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 11.21558453188654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models solve complex tasks by generating long reasoning chains, achieving higher accuracy at the cost of increased computational cost and reduced ability to isolate functionally relevant reasoning. Prior work on compact reasoning shortens such chains through probabilistic sampling, heuristics, or supervision from frontier models, but offers limited insight into whether models internally encode token-level functional importance for answer generation. We address this gap diagnostically and propose greedy pruning, a likelihood-preserving deletion procedure that iteratively removes reasoning tokens whose removal minimally degrades model likelihood under a specified objective, yielding length-controlled reasoning chains. We evaluate pruned reasoning in a distillation framework and show that students trained on pruned chains outperform a frontier-model-supervised compression baseline at matched reasoning lengths. Finally, our analysis reveals systematic pruning patterns and shows that attention scores can predict greedy pruning ranks, further suggesting that models encode a nontrivial functional importance structure over reasoning tokens.
• Abstract（参考訳）: 大規模言語モデルは、長い推論連鎖を生成することで複雑なタスクを解決し、計算コストの増大と機能的な推論を分離する能力の低下による高い精度を達成する。 それまでのコンパクト推論は、確率的サンプリング、ヒューリスティックス、あるいはフロンティアモデルからの監督を通じて、そのような連鎖を短縮するが、モデルが内部的にトークンレベルの関数的重要性を答え生成にエンコードするかどうかについては、限定的な洞察を与える。 本稿では, このギャップを診断的に解決し, モデル確率を最小限に低下させた推論トークンを反復的に除去し, 長さ制御された推論チェーンを生成する, 確率保存的削除手順であるgreedy pruningを提案する。 蒸留機内でのプルーンド・ライティングを評価し,プルーンド・チェーンを訓練した学生が,フロンティアモデルによる圧縮ベースラインを一致したライティング長で上回ったことを示す。 最後に,本分析の結果から,アテンションスコアが欲求的プルーニングランクを予測できることを示すとともに,推論トークンよりも非自明な機能的重要構造を符号化するモデルが示唆された。

関連論文リスト

• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
  推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。 本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2025-06-17T06:04:01Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Process or Result? Manipulated Ending Tokens Can Mislead Reasoning LLMs to Ignore the Correct Reasoning Steps [39.759594479826454]
  入力推論チェーンの微妙なエラーに対するモデル推論の脆弱性について検討する。 この脆弱性は、操作された計算結果を含む推論トークンが提示されたモデルが正しい推論ステップを無視し、その代わりに誤った結果を採用する傾向がある。 我々の研究は、推論の堅牢性を理解することを強化し、推論集約アプリケーションに対するセキュリティ上の配慮を強調します。
  論文  参考訳（メタデータ） (2025-03-25T03:43:11Z)
• Unveiling Reasoning Thresholds in Language Models: Scaling, Fine-Tuning, and Interpretability through Attention Maps [3.8936716676293917]
  本研究では,異なるモデルサイズと訓練データを持つデコーダのみの変換言語モデルのコンテキスト内学習能力について検討する。 我々は,複数の質問応答におけるコモンセンス推論や帰納的推論といったタスクにおいて,推論性能が著しく向上する重要なパラメータしきい値(160億)を同定する。
  論文  参考訳（メタデータ） (2025-02-21T00:48:32Z)
• Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models [56.32800938317095]
  既存の検証器はテスト時の木探索技術に準最適である。 トークン制御値モデル(TVM)を提案する。 TVMは各トークンに、正しい最終回答に達する確率を反映した確率を割り当てる。
  論文  参考訳（メタデータ） (2024-07-12T13:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。