論文の概要: SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression

• arxiv url: http://arxiv.org/abs/2508.12604v1
• Date: Mon, 18 Aug 2025 04:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.961523
• Title: SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression
• Title（参考訳）: SSPO:プロセススーパービジョンと推論圧縮のための自己トレースステップワイド推論最適化
• Abstract要約: 後学習法は補助的なモデルや過度な考えのためにかなりの計算オーバーヘッドを発生させる。 本稿では,プラグインRLgableプロセス監視フレームワークであるSSPO(Self-traced Step-wise Preference Optimization)を提案する。 SSPOは、モデル自身が生成したステップワイズ優先信号を使用して、圧縮を推論するための最適化プロセスを導出する。
• 参考スコア（独自算出の注目度）: 15.87106741558898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling has proven effective in further enhancing the performance of pretrained Large Language Models (LLMs). However, mainstream post-training methods (i.e., reinforcement learning (RL) with chain-of-thought (CoT) reasoning) often incur substantial computational overhead due to auxiliary models and overthinking. In this paper, we empirically reveal that the incorrect answers partially stem from verbose reasoning processes lacking correct self-fix, where errors accumulate across multiple reasoning steps. To this end, we propose Self-traced Step-wise Preference Optimization (SSPO), a pluggable RL process supervision framework that enables fine-grained optimization of each reasoning step. Specifically, SSPO requires neither auxiliary models nor stepwise manual annotations. Instead, it leverages step-wise preference signals generated by the model itself to guide the optimization process for reasoning compression. Experiments demonstrate that the generated reasoning sequences from SSPO are both accurate and succinct, effectively mitigating overthinking behaviors without compromising model performance across diverse domains and languages.
• Abstract（参考訳）: テストタイムのスケーリングは、事前訓練された大規模言語モデル(LLM)の性能をさらに向上させるのに有効であることが証明されている。 しかし、主流のポストトレーニング手法(例えば、強化学習(RL)とチェーン・オブ・ソート(CoT)推論)は、補助モデルや過度な考えによってかなりの計算オーバーヘッドを引き起こすことが多い。 本稿では,複数の推論ステップに誤りが蓄積する,正しい自己修正を欠いた冗長推論プロセスから,誤答が部分的に生じることを実証的に明らかにする。 この目的のために我々は,各推論ステップのきめ細かい最適化を可能にする,プラグイン可能なRLプロセス監視フレームワークであるSSPO(Self-traced Step-wise Preference Optimization)を提案する。 具体的には、SSPOは補助モデルも段階的な手動アノテーションも必要としない。 代わりに、モデル自身が生成したステップワイズ優先信号を活用して、圧縮を推論するための最適化プロセスを導出する。 実験により、SSPOから生成された推論シーケンスは正確かつ簡潔であり、様々なドメインや言語にまたがるモデル性能を損なうことなく、過度な振る舞いを効果的に緩和することを示した。

関連論文リスト

• SKIP: a Self-knowledge-guided Step-wise Preference Learning Framework for Concise Reasoning [19.556431423744403]
  自己学習型ステップワイド優先学習フレームワークであるSKIPを提案する。 中間段階の正しさに基づいて、より効率的で正しい推論に向けてモデルを導く選好データを構築する。 本手法は,微調整後の性能劣化を軽減しつつ,推論圧縮を効果的に改善する。
  論文  参考訳（メタデータ） (2026-09-15T11:29:29Z)
• OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping [5.086360473456115]
  我々は,チェーン・オブ・プルーニングを最適停止問題として定式化する軽量プラグインフレームワークであるOS-Prunerを紹介した。 推論プレフィックスが与えられた後、OS-Prunerは、さらなる推論がそのトークンコストに値するかどうかを学習する。 様々な推論ベンチマークとベースモデルにおいて、OS-Prunerは最小限の精度で生成長を20-60%削減する。
  論文  参考訳（メタデータ） (2026-07-13T04:57:22Z)
• Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization [59.20570719781289]
  マルチモーダル大規模推論モデルは推論パラダイムを導入し、複雑な視覚言語タスクに強力な能力を示す。 既存のトレーニングベースの手法では、応答レベルの直接選好最適化(DPO)を通じて幻覚を緩和し、CoT(Chain-of-Thought)と最終回答をモノリシックな出力として扱い、協調的に最適化する。 我々は、応答生成条件としてCoTをモデル化し、異なるCoT条件下で同じ好みの回答を優先し、応答支持型推論連鎖アライメントを促進するReasoning-Conditioned Direct Preference Optimization (RC-DPO) を導出する。
  論文  参考訳（メタデータ） (2026-05-27T03:27:23Z)
• CiPO: Counterfactual Unlearning for Large Reasoning Models through Iterative Preference Optimization [54.774620283208776]
  大きな推論モデル(LRM)は、複雑な問題に対処するための長いチェーン・オブ・シント(CoT)推論を強調する。 既存の方法は、CoTトレースから望ましくない知識を完全に排除するか、推論プロセスへの干渉によって推論性能を低下させるかのいずれかである。 LRMにおけるCoT推論の目的的介入として、非学習を再定義する新しいフレームワークである反復的選好最適化(CiPO)を通じて、対実的アンラーニングを導入する。
  論文  参考訳（メタデータ） (2026-04-17T08:56:36Z)
• Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
  本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。 具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。 数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-29T19:27:23Z)
• Fractional Reasoning via Latent Steering Vectors Improves Inference Time Compute [57.16286134405821]
  本稿では,推論時の推論強度を連続的に制御するフレームワークであるフラクショナル推論を提案する。 提案手法は, より深い推論を伴う潜在ステアリングベクトルを抽出し, 調整可能なスケーリング係数で再適用することによって機能する。 GSM8K、MATH500、GPQAの実験により、フラクショナル推論は様々な推論タスクやモデルのパフォーマンスを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2025-06-18T21:15:59Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling [29.721108461390973]
  PIR(Perplexity-based Importance Refinement)は,各推論ステップの重要性を定量的に評価するフレームワークである。 PIRは、プログレッシブ推論コンポーネントを保持しながら、低重要機能ステップのみを特定し、選択的にプーンする。 我々のアプローチは、異なるモデルサイズ、データソース、トークン予算にまたがる強力な一般化可能性を示す。
  論文  参考訳（メタデータ） (2025-05-25T15:17:57Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• PRefLexOR: Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning and Agentic Thinking [0.0]
  PRefLexORは、好みの最適化と強化学習の概念を組み合わせることで、モデルを自己学習可能にする。 本研究は, 生体材料科学の応用に焦点をあて, 様々なケーススタディでその手法を実証する。
  論文  参考訳（メタデータ） (2024-10-16T08:46:26Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。