論文の概要: Rectifying LLM Thought from Lens of Optimization

• arxiv url: http://arxiv.org/abs/2512.01925v1
• Date: Mon, 01 Dec 2025 17:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.997919
• Title: Rectifying LLM Thought from Lens of Optimization
• Title（参考訳）: 最適化レンズによるLCM思想の定式化
• Authors: Junnan Liu, Hongwei Liu, Songyang Zhang, Kai Chen,
• Abstract要約: ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。 進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。 ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
• 参考スコア（独自算出の注目度）: 48.98086817378953
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models (LLMs) have been driven by their emergent reasoning capabilities, particularly through long chain-of-thought (CoT) prompting, which enables thorough exploration and deliberation. Despite these advances, long-CoT LLMs often exhibit suboptimal reasoning behaviors, such as overthinking and excessively protracted reasoning chains, which can impair performance. In this paper, we analyze reasoning processes through an optimization lens, framing CoT as a gradient descent procedure where each reasoning step constitutes an update toward problem resolution. Building on this perspective, we introduce RePro (Rectifying Process-level Reward), a novel approach to refine LLM reasoning during post-training. RePro defines a surrogate objective function to assess the optimization process underlying CoT, utilizing a dual scoring mechanism to quantify its intensity and stability. These scores are aggregated into a composite process-level reward, seamlessly integrated into reinforcement learning with verifiable rewards (RLVR) pipelines to optimize LLMs. Extensive experiments across multiple reinforcement learning algorithms and diverse LLMs, evaluated on benchmarks spanning mathematics, science, and coding, demonstrate that RePro consistently enhances reasoning performance and mitigates suboptimal reasoning behaviors.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、その創発的な推論能力、特に徹底的な探索と検討を可能にする長いチェーン・オブ・シークレット(CoT)プロンプトによって引き起こされている。 これらの進歩にもかかわらず、長いCoT LLMは、過剰な考えや過剰に引き延ばされた推論チェーンのような、パフォーマンスを損なうような、最適以下の推論行動を示すことが多い。 本稿では,最適化レンズを用いて推論過程を分析し,各推論ステップが問題解決に向けて更新される勾配降下手順としてCoTをフレーミングする。 この観点で構築したRePro(Rectifying Process-level Reward)は,ポストトレーニング中のLCM推論を洗練するための新しいアプローチである。 ReProは、CoTの基礎となる最適化プロセスを評価するための代理目的関数を定義し、その強度と安定性を定量化するために二重スコアリング機構を利用する。 これらのスコアは複合プロセスレベルの報酬に集約され、LLMを最適化するために検証可能な報酬(RLVR)パイプラインで強化学習にシームレスに統合される。 複数の強化学習アルゴリズムと多種多様なLLMに対する広範な実験は、数学、科学、コーディングにまたがるベンチマークで評価され、ReProは推論性能を一貫して向上し、準最適推論行動を緩和することを示した。

関連論文リスト

• Latent Chain-of-Thought for Visual Reasoning [53.541579327424046]
  大型視覚言語モデル(LVLM)の解釈可能性および信頼性向上には,チェーン・オブ・シント(CoT)推論が不可欠である 我々は,LVLMにおける推論を後部推論として再構成し,償却変分推論に基づくスケーラブルなトレーニングアルゴリズムを提案する。 提案手法は,7つの推論ベンチマークにおいて,最先端のLVLMを強化することを実証的に実証する。
  論文  参考訳（メタデータ） (2025-10-27T23:10:06Z)
• GPO: Learning from Critical Steps to Improve LLM Reasoning [13.271737599933147]
  textbfGuided textbfPivotal textbfOptimization (GPO)を導入する。 GPOは様々な最適化手法と統合して推論性能を向上させるための一般的な戦略であることを実証する。
  論文  参考訳（メタデータ） (2025-09-19T22:30:23Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought [37.53215651690168]
  思考の連鎖(CoT)は、ステップ思考を奨励することで、大きな言語モデル(LLM)の推論性能を向上させる。 有望ではあるが、CoTベースのアプローチは、しばしばコストのかかる事前トレーニングを必要とし、推論の進化に関する原則的なフレームワークを欠いている。 プリトレーニングを必要とせずにFlow CoTスタイルの推論を可能にする軽量な微調整フレームワークSCOUTを提案する。
  論文  参考訳（メタデータ） (2025-05-30T03:43:24Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)
• RaCT: Ranking-aware Chain-of-Thought Optimization for LLMs [30.216174551427443]
  大規模言語モデル(LLM)は、テキスト再ランクタスクにおいて顕著な可能性を示している。 LLMをランク付けタスクに特化するための従来の微調整手法は、しばしばモデルの汎用能力を著しく低下させる。 本稿では,CoT(Chain-of-Thought)と革新的な2段階トレーニングパイプラインを戦略的に組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2024-12-18T23:24:15Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。