論文の概要: Every Token Leaves a Ripple in the Stream of Thought: Eliciting Model-Internal Token Saliency for Chain-of-Thought Compression
- arxiv url: http://arxiv.org/abs/2608.31066v1
- Date: Mon, 31 Aug 2026 16:41:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.519643
- Title: Every Token Leaves a Ripple in the Stream of Thought: Eliciting Model-Internal Token Saliency for Chain-of-Thought Compression
- Title（参考訳）: すべてのトーケンが思考の流れに波紋を残している: チェーン・オブ・ソード圧縮のためのモデル内トーケンサリエンシの排除
- Abstract要約: CoT推論(Chain-of-Thought reasoning)は、多段階の問題解決を改善するが、長い推論トレースは計算コストを増大させる。
トークンの重要性を2つの相補軸に沿って定義するtextscMIST(Token-level CoT 圧縮のためのモデル内部サリエンシ)を提案する。
textscMISTは、ベースラインメソッドよりも一貫して優れており、モデル内部のサリエンシが推論の重要さに効果的なプロキシを提供することを示唆している。
- 参考スコア（独自算出の注目度）: 13.74199057436712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) reasoning improves multi-step problem solving, but long reasoning traces inflate inference cost. Token-level CoT compression reduces this cost by pruning full reasoning chains into shorter traces for model adaptation, making token selection the central challenge. Existing methods often rely on external scorers or heuristic signals only indirectly tied to the model's internal answer computation. We instead adopt a model-internal perspective: as the model forms an answer, each reasoning token leaves a ripple in the residual stream, the model's \emph{stream of thought}, and the magnitude of this ripple reflects the token's contribution to the answer computation. Building on this view, we propose \textsc{MIST} (Model-Internal Saliency for Token-level CoT compression), which defines token importance along two complementary axes: \emph{necessity}, the drop in answer likelihood when a token's internal contribution is removed, and \emph{sufficiency}, the gain in answer likelihood when that contribution alone is provided. Combining the two yields a unified importance score for pruning. Across four reasoning benchmarks and four models, \textsc{MIST} consistently outperforms baseline methods, suggesting that model-internal saliency provides an effective proxy for reasoning-token importance.
- Abstract（参考訳）: CoT推論(Chain-of-Thought reasoning)は、多段階の問題解決を改善するが、長い推論トレースは推論コストを増大させる。
トークンレベルのCoT圧縮は、完全な推論チェーンをモデル適応のための短いトレースに分割することで、このコストを低減し、トークン選択が中心的な課題となる。
既存の手法は、しばしば外部のスコアやヒューリスティック信号に頼り、モデルの内部回答計算に間接的にのみ結びついている。
モデルが解を形成すると、各推論トークンは残留ストリームにリップルを残し、モデルの \emph{stream of thought} はスケールし、このリップルの大きさは、解計算へのトークンの寄与を反映する。
この観点から,2つの相補軸に沿ったトークン重要度を定義する「textsc{MIST}(Token-level CoT 圧縮のためのモデル-インターナルサリエンシ)」を提案する。
これら2つを組み合わせることで、プルーニングにおける統一された重要性スコアが得られる。
4つの推論ベンチマークと4つのモデルにおいて、textsc{MIST} は一貫してベースラインメソッドよりも優れており、モデル内部のサリエンシが推論の重要さに効果的なプロキシを提供することを示唆している。
関連論文リスト
- C$^{2}$R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders [56.67585330425431]
スパースオートエンコーダ(SAE)は、アクティベーションをスパースで人間の理解可能な機能に分解することで、大きな言語モデルを解釈するために広く使われている。
これらの問題は、サンプル間の一貫性のない潜在的な割り当てに起因している。
我々はC$2$Rを導入し、これは方向的に類似した潜伏剤の共活性化を罰する。
論文 参考訳（メタデータ） (2026-06-29T17:45:31Z) - Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。
推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。
頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
論文 参考訳（メタデータ） (2026-04-29T07:06:43Z) - CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning [25.840307083323456]
CoT(Long Chain-of-Thought)推論は最近の推論モデルの成功に欠かせないが、高い計算オーバーヘッドと遅延に悩まされている。
本稿では,本モデル固有のサリエンシを利用してCoTを圧縮するフレームワークであるtextbfCompressing textbfRedundancy in Chain-of-Thought について,textbfIntrinsic textbfSaliency textbfPruning (textbfCRISP)を提案する。
論文 参考訳（メタデータ） (2026-04-19T07:26:55Z) - Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。
高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。
私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
論文 参考訳（メタデータ） (2026-02-03T08:34:20Z) - P2S: Probabilistic Process Supervision for General-Domain Reasoning Question Answering [51.04492568024515]
本稿では,プロセス報酬を微粒化するための新しいフレームワークである確率的プロセススーパービジョン(P2S)を紹介する。
P2Sは、個別の報酬モデルや人間に注釈を付けた推論ステップを必要とせずに、きめ細かいプロセス報酬を提供する。
論文 参考訳（メタデータ） (2026-01-28T14:35:20Z) - Do LLMs Encode Functional Importance of Reasoning Tokens? [11.21558453188654]
推論トークンを反復的に除去する確率保存的削除手順であるgreedy pruningを提案する。
本研究では, プルーニングチェーンを訓練した学生が, 一致した推論長でフロンティアモデルによる圧縮ベースラインより優れていることを示す。
論文 参考訳（メタデータ） (2026-01-06T14:50:02Z) - In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。
InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。
その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
論文 参考訳（メタデータ） (2025-11-13T01:47:06Z) - ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。
DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文 参考訳（メタデータ） (2025-06-23T16:20:44Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - ConCISE: Confidence-guided Compression in Step-by-step Efficient Reasoning [64.93140713419561]
大型推論モデル (LRM) は、Chain-of-Thought (CoT) による複雑な推論タスクで強く機能するが、しばしば冗長な出力に悩まされる。
既存の微調整ベースの圧縮手法は、ポストホックプルーニングを動作させるか、コヒーレンスを推論する破壊を危険にさらすか、サンプリングベースの選択に依存するかのいずれかである。
ConCISEは、簡潔な推論連鎖を生成するために設計されたフレームワークであり、信頼注入を統合して推論の信頼性を高める。
論文 参考訳（メタデータ） (2025-05-08T01:40:40Z) - CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。
我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2025-02-13T18:52:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。