論文の概要: DFPO: Scaling Value Modeling via Distributional Flow towards Robust and Generalizable LLM Post-Training

• arxiv url: http://arxiv.org/abs/2602.05890v1
• Date: Thu, 05 Feb 2026 17:07:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.070889
• Title: DFPO: Scaling Value Modeling via Distributional Flow towards Robust and Generalizable LLM Post-Training
• Title（参考訳）: DFPO:ロバストおよび一般化可能なLLMポストトライニングに向けた分散フローによるスケールバリューモデリング
• Authors: Dingwei Zhu, Zhiheng Xi, Shihan Dou, Jiahan Li, Chenhao Huang, Junjie Ye, Sixian Li, Mingxu Chai, Yuhui Wang, Yajie Yang, Ming Zhang, Jiazheng Zhang, Shichun Liu, Caishuang Huang, Yunke Zhang, Yuran Wang, Tao Gui, Xipeng Qiu, Qi Zhang, Xuanjing Huang,
• Abstract要約: 実環境における訓練強化学習(RL)システムは、ノイズの多い監視とドメイン外の一般化が不十分なため、依然として困難である。 近年の分布RL法は、複数の量子点を持つ値をモデル化することでロバスト性を向上させるが、スカラーとして各量子点を独立に学習する。 DFPOは、時間ステップをまたいだ連続フローとして値をモデル化する、ロバストな分散RLフレームワークである。
• 参考スコア（独自算出の注目度）: 94.568675548967
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training reinforcement learning (RL) systems in real-world environments remains challenging due to noisy supervision and poor out-of-domain (OOD) generalization, especially in LLM post-training. Recent distributional RL methods improve robustness by modeling values with multiple quantile points, but they still learn each quantile independently as a scalar. This results in rough-grained value representations that lack fine-grained conditioning on state information, struggling under complex and OOD conditions. We propose DFPO (Distributional Value Flow Policy Optimization with Conditional Risk and Consistency Control), a robust distributional RL framework that models values as continuous flows across time steps. By scaling value modeling through learning of a value flow field instead of isolated quantile predictions, DFPO captures richer state information for more accurate advantage estimation. To stabilize training under noisy feedback, DFPO further integrates conditional risk control and consistency constraints along value flow trajectories. Experiments on dialogue, math reasoning, and scientific tasks show that DFPO outperforms PPO, FlowRL, and other robust baselines under noisy supervision, achieving improved training stability and generalization.
• Abstract（参考訳）: 実環境における訓練強化学習(RL)システムは、特にLLMポストトレーニングにおいて、ノイズの多い監視と貧弱なドメイン外一般化のため、依然として困難である。 近年の分布RL法は、複数の量子点を持つ値をモデル化することでロバスト性を向上させるが、スカラーとして各量子点を独立に学習する。 その結果、状態情報に対するきめ細かい条件を欠いた粗い値表現が得られ、複雑な状態やOOD条件下で苦労する。 本稿では,DFPO(Distributional Value Flow Policy Optimization with Conditional Risk and Consistency Control)を提案する。 DFPOは、孤立した量子的予測ではなく、バリューフローフィールドの学習を通じて価値モデリングをスケールすることにより、より正確な優位性推定のためによりリッチな状態情報をキャプチャする。 ノイズフィードバック下でのトレーニングを安定化するため、DFPOはさらに、条件付きリスクコントロールとバリューフロー軌跡に沿った一貫性制約を統合する。 対話, 数学推論, 科学的タスクの実験により, DFPOは, PPO, FlowRL, その他の頑健なベースラインよりも優れ, 訓練安定性と一般化の向上を実現していることが示された。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• DVPO: Distributional Value Modeling-based Policy Optimization for LLM Post-Training [45.777138699734024]
  本稿では、条件付きリスク理論と分布値モデリングを組み合わせた新しいRLフレームワークであるDVPOを紹介し、ロバスト性と一般化のバランスを改善する。 DVPOはPPO、GRPO、ロバストなベルマンベースのPPOを常に上回っている。
  論文  参考訳（メタデータ） (2025-12-03T14:48:38Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models [7.316631310935769]
  VLA(Vision-Language-Action)モデルは、大規模なデモンストレーションを活用することで、強力な一般化を示している。 本研究では,FPOアルゴリズムを提案する。FPOアルゴリズムは,条件付きフローマッチングの目的に対して,サンプルごとの変化を生かして,重要サンプリングを再構築する。 LIBEROベンチマークのFPOとALOHAシミュレーションタスクを、教師付き、嗜好的、拡散的、自己回帰的オンラインRLに対して評価する。
  論文  参考訳（メタデータ） (2025-10-11T03:11:18Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。