論文の概要: Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning

• arxiv url: http://arxiv.org/abs/2505.14582v2
• Date: Tue, 26 Aug 2025 08:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 15:23:52.337038
• Title: Can Pruning Improve Reasoning? Revisiting Long-CoT Compression with Capability in Mind for Better Reasoning
• Title（参考訳）: プルーニングは推論を改善するか?
• Authors: Shangziqi Zhao, Jiahao Yuan, Guisong Yang, Usman Naseem,
• Abstract要約: Prune-on-LogicはLong-CoTを論理グラフに変換し、低ユーティリティ推論ステップを選択的にプルーするフレームワークである。 検証プルーニングはトークン使用率を低下させながら常に精度を向上するのに対し、推論や非識別プルーニングは性能を低下させる。
• 参考スコア（独自算出の注目度）: 15.137717200618454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long chain-of-thought (Long-CoT) reasoning improves accuracy in LLMs, yet its verbose, self-reflective style often hinders effective distillation into small language models (SLMs). We revisit Long-CoT compression through the lens of capability alignment and ask: Can pruning improve reasoning? We propose Prune-on-Logic, a structure-aware framework that transforms Long-CoT into logic graphs and selectively prunes low-utility reasoning steps under self-verification constraints. Through systematic analysis across three pruning strategies - targeting entire chains, core reasoning, and verification - we find that verification pruning consistently improves accuracy while reducing token usage, whereas reasoning or indiscriminate pruning degrades performance. Our study reveals that effective pruning aligns supervision with model capacity rather than merely shortening inputs. Gains hold across tasks, model scales, and CoT capability, with larger models benefiting more from pruning due to richer but more redundant reasoning. Our empirical findings highlight pruning as a structural optimization strategy for aligning CoT reasoning with SLM capacity.
• Abstract（参考訳）: ロングチェーン・オブ・ソート(Long-CoT)推論はLLMの精度を向上させるが、冗長で自己反射的なスタイルは、しばしば小さな言語モデル(SLM)への効果的な蒸留を妨げる。 我々は、機能アライメントのレンズを通してLong-CoT圧縮を再考し、質問する: プルーニングは推論を改善することができるか? 本稿では,Long-CoTを論理グラフに変換し,自己検証制約の下で低ユーティリティ推論ステップを選択的にプルーする構造対応フレームワークPrune-on-Logicを提案する。 チェーン全体,コア推論,検証といった3つのプルーニング戦略を体系的に分析することで,検証プルーニングはトークン使用率を低減しながら精度を一貫して向上するのに対して,推論や非差別プルーニングはパフォーマンスを低下させることがわかった。 本研究は,効率的なプルーニングがインプットの短縮に留まらず,モデルキャパシティの維持に寄与することを明らかにする。 タスク、モデルスケール、CoT機能にまたがるゲインは、よりリッチだが冗長な推論のため、より大きなモデルはプルーニングの恩恵を受ける。 我々の経験的知見は、COT推論とSLM容量の整合化のための構造最適化戦略としてプルーニングを強調した。

関連論文リスト

• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [60.37610817226533]
  CoT推論(Chain-of-Thought reasoning)は、推論中の中間推論をステップバイステップで促進する。 CoTは、長いトークンシーケンスに対する自己回帰復号化に依存するため、かなりの計算オーバーヘッドを導入している。 本稿では,CoT推論を高速化するトークンレベルの信頼度に基づくハイブリッドデコーディングフレームワークであるR-Stitchを提案する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [53.149817480019834]
  大規模推論モデル(LRM)の最近の進歩は、チェーン・オブ・ソート(CoT)による生成長のスケールアップにより、複雑な推論タスクにおける顕著な性能向上を実現している。 本稿では,推論過程のトークン生成中にテキストヒントを注入することにより,推論モデルに簡潔な発話を促すフレームワークであるConciseHintを提案する。 DeepSeek-R1 や Qwen-3 シリーズを含む最先端の LRM 実験により,本手法は性能を良好に保ちながら簡潔な推論過程を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• ReCUT: Balancing Reasoning Length and Accuracy in LLMs via Stepwise Trails and Preference Optimization [16.51303604678232]
  Reasoning Compression ThroUgh Stepwise Trials (ReCUT) は推論軌道の精度と長さのバランスをとるための新しい手法である。 複数の数学推論データセットとバックボーンモデルによる実験結果から、ReCUTは推論の長さを約30～50%削減することが示された。
  論文  参考訳（メタデータ） (2025-06-12T15:43:01Z)
• AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models [56.063571989395946]
  推論可能な大規模言語モデル(LLM)は、複雑な推論タスクにおいて強力な性能を示す。 最近のアプローチでは、長い推論や短い推論をいつ適用すべきかを手動で決めることによって、この問題に対処しようとしている。 本稿では,LLMが生成した推論経路を動的に圧縮できる動的かつモデルに依存しないフレームワークであるAuto Long-Short Reasoning (AutoL2S)を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:59:53Z)
• ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
  ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。 我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2025-05-21T15:58:16Z)
• Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately [29.018731931275138]
  大規模言語モデル(LLM)は、所定の要求に応答するChain-of-Thought推論を生成することで、より優れた機能を得ることができる。 しかし,2つのスケーリング次元を取り入れた場合,システム効率は2つの理由から著しく低下する。 本稿では,効率的なLLM推論のためのサービスフレームワークであるSARTについて述べる。
  論文  参考訳（メタデータ） (2025-05-19T16:34:56Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
  我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。 我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-13T18:52:36Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.147529569445396]
  Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
  論文  参考訳（メタデータ） (2024-06-13T14:07:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。