論文の概要: OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping

• arxiv url: http://arxiv.org/abs/2607.11089v1
• Date: Mon, 13 Jul 2026 04:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.333113
• Title: OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping
• Title（参考訳）: OS-Pruner: 最適停止による推論モデルの実行チェーン
• Authors: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi,
• Abstract要約: 我々は,チェーン・オブ・プルーニングを最適停止問題として定式化する軽量プラグインフレームワークであるOS-Prunerを紹介した。 推論プレフィックスが与えられた後、OS-Prunerは、さらなる推論がそのトークンコストに値するかどうかを学習する。 様々な推論ベンチマークとベースモデルにおいて、OS-Prunerは最小限の精度で生成長を20-60%削減する。
• 参考スコア（独自算出の注目度）: 5.086360473456115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success in complex reasoning tasks through Chain-of-Thought (CoT) prompting. However, these models often exhibit "computational overthinking," generating redundant reasoning steps that increase latency and cost without improving accuracy. Recent studies suggest that CoT trajectories can be significantly pruned, yet existing methods often rely on forcing a static thinking budget, heuristic filtering, sub-optimal early exit via classification, or expensive re-training. In this paper, we introduce OS-Pruner, a lightweight plug-in framework that formulates chain-of-thought pruning as an optimal stopping problem. Given a reasoning prefix, OS-Pruner learns whether further reasoning is worth its token cost by optimizing an explicit utility that trades off final-answer accuracy against generated length. Our novel formulation enables the model to dynamically assess the sufficient point of termination for a reasoning chain. OS-Pruner is designed to be lightweight during both training and inference, and to provide users with fine-grained control over the reasoning-effort vs. accuracy trade-off. On diverse reasoning benchmarks and base models, OS-Pruner achieves 20-60\% reduction in generation length with minimal accuracy sacrifice.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、Chain-of-Thought (CoT) による複雑な推論タスクにおいて、顕著な成功を収めている。 しかし、これらのモデルはしばしば「計算過剰思考」を示し、正確さを向上することなくレイテンシとコストを増大させる冗長な推論ステップを生成する。 近年の研究では、CoT軌道は著しく切断される可能性があることが示唆されているが、既存の手法は静的思考予算、ヒューリスティックフィルタリング、分類による最適早期退避、あるいは高価な再訓練に頼っていることが多い。 本稿では,チェーン・オブ・プルーニングを最適停止問題として定式化する軽量プラグインフレームワークであるOS-Prunerを紹介する。 推論プレフィックスが与えられた後、OS-Prunerは、生成した長さに対して最終回答の精度をトレードオフする明示的なユーティリティを最適化することで、さらなる推論がトークンコストに値するかどうかを学習する。 我々の新しい定式化により、モデルが推論チェーンの十分な終了点を動的に評価できる。 OS-Prunerは、トレーニングと推論の両方で軽量に設計されており、ユーザに対して、推論と精度のトレードオフに関する微妙なコントロールを提供する。 様々な推論ベンチマークとベースモデルにおいて、OS-Prunerは最小限の精度で生成長を20～60倍に削減する。

関連論文リスト

• Constraint-Rectified Training for Efficient Chain-of-Thought [60.52883907721588]
  CoT (Chain-of-Thought) は,Large Language Models (LLMs) の推論能力を大幅に向上させた。 より長い推論トレースは、自己訂正のような回答の品質とアンロック能力を改善することができるが、高い推論コストを発生させ、過度に考えることとして知られる冗長なステップをしばしば導入する。 近年の研究は、推論の長さと精度のバランスをとる効率的な推論戦略の開発を目指している。
  論文  参考訳（メタデータ） (2026-02-13T02:13:45Z)
• Neural Chain-of-Thought Search: Searching the Optimal Reasoning Path to Enhance Large Language Models [61.55758048622473]
  最適思考戦略の動的探索として推論を再構成するフレームワークであるNeural Chain-of-Thought Search (NCoTS)を導入する。 解空間を定量的に特徴づけることで、標準出力よりも正確かつ簡潔なスパース優良推論経路の存在を明らかにする。
  論文  参考訳（メタデータ） (2026-01-16T14:38:18Z)
• ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
  大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。 本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T01:26:30Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression [15.87106741558898]
  後学習法は補助的なモデルや過度な考えのためにかなりの計算オーバーヘッドを発生させる。 本稿では,プラグインRLgableプロセス監視フレームワークであるSSPO(Self-traced Step-wise Preference Optimization)を提案する。 SSPOは、モデル自身が生成したステップワイズ優先信号を使用して、圧縮を推論するための最適化プロセスを導出する。
  論文  参考訳（メタデータ） (2025-08-18T04:02:15Z)
• ReCUT: Balancing Reasoning Length and Accuracy in LLMs via Stepwise Trails and Preference Optimization [16.51303604678232]
  Reasoning Compression ThroUgh Stepwise Trials (ReCUT) は推論軌道の精度と長さのバランスをとるための新しい手法である。 複数の数学推論データセットとバックボーンモデルによる実験結果から、ReCUTは推論の長さを約30～50%削減することが示された。
  論文  参考訳（メタデータ） (2025-06-12T15:43:01Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。