論文の概要: Beyond the Mean: Multi-Moment Policy Optimization for LLM Reasoning
- arxiv url: http://arxiv.org/abs/2608.02149v1
- Date: Mon, 03 Aug 2026 12:34:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.549341
- Title: Beyond the Mean: Multi-Moment Policy Optimization for LLM Reasoning
- Title（参考訳）: Beyond the Mean: LLM推論のためのマルチモーメントポリシー最適化
- Abstract要約: LLM推論におけるポリシー最適化のモーメントに基づく視点を導入する。
textbfMulti-textbfMoment textbfPolicy textbfOptimization (MMPO)を提案する。
MMPOは、故障確率分布の複数のモーメントを共同で最小化する。
- 参考スコア（独自算出の注目度）: 15.923765130357252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning has become a central paradigm for improving the reasoning capabilities of large language models. Existing methods generally aim to reduce the failure probabilities induced across problems. In this paper, we introduce a moment-based perspective on policy optimization for LLM reasoning by treating the failure probability of a randomly sampled problem as a random variable and characterizing optimization objectives through its moments. Under this perspective, many existing methods optimize only a single moment of the failure-probability distribution, leaving its broader distributional structure largely uncharacterized. We propose \textbf{M}ulti-\textbf{M}oment \textbf{P}olicy \textbf{O}ptimization (MMPO), a novel policy optimization framework that jointly minimizes multiple moments of the failure-probability distribution. MMPO admits a direct operational interpretation as minimizing the expected truncated time required to obtain the first successful response. Beyond MMPO, we further develop a general moment-transformation framework that systematically induces different moment profiles and provides a unified view of a broader family of policy optimization objectives. Experiments across five mathematical reasoning benchmarks and models of different scales demonstrate that MMPO consistently outperforms strong baselines. We hope this moment-based perspective offers new insights into the design of policy optimization objectives for LLM reasoning.
- Abstract（参考訳）: 強化学習は、大規模言語モデルの推論能力を改善するための中心的なパラダイムとなっている。
既存の手法は一般的に、問題によって引き起こされる障害確率を減らすことを目的としている。
本稿では、ランダムにサンプリングされた問題の失敗確率をランダム変数として扱い、そのモーメントを通して最適化目標を特徴づけることにより、LCM推論のためのポリシー最適化に関するモーメントベース視点を提案する。
この観点では、多くの既存手法が障害確率分布の1つのモーメントだけを最適化し、その広範な分布構造は、ほとんど役に立たないままである。
本稿では, フェール確率分布の複数モーメントを協調的に最小化する新しいポリシ最適化フレームワークである, MMPOを提案する。
MMPOは、最初に成功した応答を得るのに必要な待ち時間の最小化として、直接的な運用上の解釈を認めている。
MMPO以外にも、異なるモーメントプロファイルを体系的に誘導し、より広範な政策最適化目標のファミリの統一的なビューを提供する、一般的なモーメント変換フレームワークをさらに発展させます。
5つの数学的推論ベンチマークと異なるスケールのモデルによる実験は、MMPOが強いベースラインを一貫して上回ることを示した。
我々は、このモーメントに基づく視点が、LCM推論のためのポリシー最適化目標の設計に関する新たな洞察を提供することを期待している。
関連論文リスト
- A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models [9.133661763917374]
我々は、離散状態空間とおそらく任意の行動空間で連続的に強化学習(RL)を定式化する。
スコアベース離散拡散モデルを微調整するための完全連続時間RLフレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-16T03:19:53Z) - SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。
提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。
様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-01T07:13:20Z) - Rectifying LLM Thought from Lens of Optimization [48.98086817378953]
ロングチェーン・オブ・シンクレット (Long chain-of- Thought, CoT) は、徹底的な調査と検討を可能にする。
進歩にもかかわらず、長いCoT LLMは、しばしば最適な推論行動を示す。
ポストトレーニング中のLCM推論を洗練するための新しい手法であるReProを紹介する。
論文 参考訳（メタデータ） (2025-12-01T17:41:08Z) - Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。
本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。
アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
論文 参考訳（メタデータ） (2025-10-01T12:29:32Z) - GPO: Learning from Critical Steps to Improve LLM Reasoning [13.271737599933147]
textbfGuided textbfPivotal textbfOptimization (GPO)を導入する。
GPOは様々な最適化手法と統合して推論性能を向上させるための一般的な戦略であることを実証する。
論文 参考訳（メタデータ） (2025-09-19T22:30:23Z) - Pareto Multi-Objective Alignment for Language Models [7.9051473654430655]
大規模言語モデル(LLM)は、複数の、しばしば矛盾する、目的の慎重なバランスを必要とする現実世界のアプリケーションに、ますます多くデプロイされている。
LLMにおける多目的アライメント(MOA)を明示的に設計するアルゴリズムを提案する。
PAMAは、マルチオブジェクトRLHFをクローズドフォームソリューションで凸最適化に変換し、スケーラビリティを大幅に向上させる。
論文 参考訳（メタデータ） (2025-08-11T08:54:14Z) - Bounded Rationality for LLMs: Satisficing Alignment at Inference-Time [52.230936493691985]
本稿では,2次基準のしきい値に基づく制約を満たしつつ,主目的を最大化し,アライメントの多面性に対処する推論フレームワークSITAlignを提案する。
我々は、満足度に基づく推論アライメントアプローチの準最適境界を導出することで理論的洞察を提供する。
論文 参考訳（メタデータ） (2025-05-29T17:56:05Z) - Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [16.10753846850319]
継続的な学習は、モデルを永続的に取得し、保持することを可能にする。
悲惨な忘れ物は モデルパフォーマンスを著しく損なう
本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
論文 参考訳（メタデータ） (2025-01-21T13:33:45Z) - Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。
我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。
車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:00:30Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback [106.63518036538163]
我々は、強化学習におけるポリシーアライメントの最近強調された重要な問題に対処するために、新しい統合された二段階最適化ベースのフレームワーク、textsfPARLを提案する。
本フレームワークは, 上向きの目標(逆設計)の分布を, 下向きの最適変数で明示的にパラメータ化することにより, これらの問題に対処する。
その結果,提案したtextsfPARL が RL のアライメントの懸念に対処できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-08-03T18:03:44Z) - Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms for Chance Constrained Optimization Problems with Normally Distributed Random Variables [11.310502327308575]
独立して通常は分散しているコンポーネントのシナリオについて研究する。
期待されるコストとその分散をトレードオフする問題を多目的に定式化する。
また,本手法は,木に散らばった最小限の問題に対して最適解の集合を計算するためにも有効であることを示す。
論文 参考訳（メタデータ） (2021-09-13T09:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。