論文の概要: CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

• arxiv url: http://arxiv.org/abs/2604.17297v1
• Date: Sun, 19 Apr 2026 07:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.444986
• Title: CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning
• Title（参考訳）: CRISP:本質的なSaliency PruningによるChain-of-Thoughtの冗長性抑制
• Authors: Yangsong Lan, Hongliang Dai, Piji Li,
• Abstract要約: CoT(Long Chain-of-Thought)推論は最近の推論モデルの成功に欠かせないが、高い計算オーバーヘッドと遅延に悩まされている。 本稿では,本モデル固有のサリエンシを利用してCoTを圧縮するフレームワークであるtextbfCompressing textbfRedundancy in Chain-of-Thought について,textbfIntrinsic textbfSaliency textbfPruning (textbfCRISP)を提案する。
• 参考スコア（独自算出の注目度）: 25.840307083323456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long Chain-of-Thought (CoT) reasoning is pivotal for the success of recent reasoning models but suffers from high computational overhead and latency. While prior works attempt to compress CoT via external compressor, they often fail to align with the model's internal reasoning dynamics, resulting in the loss of critical logical steps. This paper presents \textbf{C}ompressing \textbf{R}edundancy in Chain-of-Thought via \textbf{I}ntrinsic \textbf{S}aliency \textbf{P}runing (\textbf{CRISP}), a framework that compresses CoT by exploiting the model's intrinsic saliency. Our analysis reveals a distinct phenomenon: the reasoning termination token \texttt{[object Object]} acts as an information anchor, where its attention pattern effectively demarcates essential reasoning from redundancy. Based on this finding, we design a policy that utilizes these intrinsic attention signals to guide atomic compression operations. In contrast to coarse-grained pruning strategies, CRISP strategically distills the reasoning chain to maximize information density while preserving logical coherence. Empirical results across various backbone models and mathematical datasets demonstrate that CRISP achieves a 50-60% reduction in token count without compromising accuracy, effectively mitigating the efficiency bottleneck of long-context reasoning. We open-source our implementation to facilitate further research in efficient reasoning.
• Abstract（参考訳）: CoT(Long Chain-of-Thought)推論は最近の推論モデルの成功に欠かせないが、高い計算オーバーヘッドと遅延に悩まされている。 以前の作業では、CoTを外部圧縮機で圧縮しようとするが、モデルの内部の推論力学と整合しないことが多く、重要な論理的なステップが失われる。 本稿では、モデル固有のサリエンシを利用してCoTを圧縮するフレームワークである、Chain-of-Thoughtにおける \textbf{C}ompressing \textbf{R}edundancy in \textbf{I}ntrinsic \textbf{S}aliency \textbf{P}runing (\textbf{CRISP})を提案する。 推論終端トークン \texttt{[object Object]} は情報アンカーとして機能し、注意パターンが冗長性から本質的な推論を効果的に分離する。 そこで本研究では,原子間圧縮操作の誘導にこれらの本質的な注意信号を利用するポリシーを設計する。 粗粒プルーニング戦略とは対照的に、CRISPは論理コヒーレンスを保ちながら情報密度を最大化するために推論チェーンを戦略的に蒸留する。 様々なバックボーンモデルと数学的データセットの実証結果から、CRISPは精度を損なうことなくトークン数を50～60%削減し、長文推論の効率ボトルネックを効果的に軽減することを示した。 我々は,効率的な推論のさらなる研究を促進するために,実装をオープンソース化する。

関連論文リスト

• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。 ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:12:53Z)
• ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
  明示的な推論連鎖は、かなりの計算冗長性をもたらす。 近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。 我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
  論文  参考訳（メタデータ） (2026-01-30T17:08:06Z)
• Chain Of Thought Compression: A Theoritical Analysis [24.613200477865572]
  Chain-of-Thought (CoT)は、大規模言語モデルの高度な推論能力を解放した。 CoTは、余分なトークンの生成によって計算コストが禁止される。 最近の研究では、潜在状態への推論ステップの圧縮(暗黙のCoT圧縮)がトークン効率の代替となることが示されている。
  論文  参考訳（メタデータ） (2026-01-29T11:42:03Z)
• Focused Chain-of-Thought: Efficient LLM Reasoning via Structured Input Information [41.10866361182172]
  Focused Chain-of-Thought (F-CoT) は、推論プロセスから情報抽出を分離する。 算術語問題では、F-CoTは標準ゼロショットCoTに匹敵する精度を維持しながら、生成されたトークンを2～3倍削減する。
  論文  参考訳（メタデータ） (2025-11-27T07:31:52Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。