Fugu-MT 論文翻訳(概要): Optimizing Stochastic Policy Geometry for Few-Step Flow Reinforcement Learning

論文の概要: Optimizing Stochastic Policy Geometry for Few-Step Flow Reinforcement Learning

arxiv url: http://arxiv.org/abs/2610.41949v1
Date: Fri, 30 Oct 2026 16:05:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-02 22:05:31.80297
Title: Optimizing Stochastic Policy Geometry for Few-Step Flow Reinforcement Learning
Title（参考訳）: フロー強化学習のための確率的政策幾何の最適化
Abstract要約: 数ステップのフローモデルでは、少数の大きなデノナイジング遷移を通じてサンプルを生成する。単一遷移が幅広いノイズレベルにまたがる場合、結果のポリシーの選択が最適化の主要な要因となる。選択原理に基づくGeo-FSRL(Geometry-Reservingd Few-Step Reinforcement Learning)を紹介する。
参考スコア（独自算出の注目度）: 23.402946709161213
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Few-step flow models generate samples through a handful of large denoising transitions. Applying GRPO to such models requires introducing stochasticity into the denoising transitions, and when a single transition spans a wide range of noise levels, the choice of the resulting stochastic policy becomes a major factor in optimization. Recent constructions constrain the policy to preserve the target flow coefficients, but this constraint admits a family of policies and offers no criterion for choosing among them. We introduce Geo-FSRL (Geometry-Optimized Few-Step Reinforcement Learning), built on a selection principle: at a fixed conditioning state and timestep pair, choose the admissible policy that minimizes the conditional KL divergence induced by any given nonzero velocity-output update. Within a coefficient-preserving family of isotropic Gaussian transitions, this criterion reduces to minimizing a single scalar geometry factor that determines the conditional KL for every velocity-output update. The same factor governs velocity-space Fisher information and conditional transition log-likelihood-ratio variance. We derive the unique closed-form optimizer within this family, shared across all nonzero update magnitudes and directions, with transition coefficients determined by both the source and target noise levels. Because the minimized geometry factor still varies across timesteps, we further adopt gradient-scale matching from prior work and derive closed-form policy-gradient and KL weights that normalize explicit score scales and reference-KL curvature. Geo-FSRL trains on the original few-step schedule and retains the deterministic solver at inference. Our method achieves higher final reward scores than Flow-GRPO and Flow-CPS on both image generation and video generation models under the 4-step setting. Code is available at https://github.com/ModelTC/LightX2V/tree/main/lightx2v_rl
Abstract（参考訳）: 数ステップのフローモデルでは、少数の大きなデノナイジング遷移を通じてサンプルを生成する。このようなモデルにGRPOを適用するには、ノイズ遷移に確率性を導入する必要があり、単一遷移が幅広いノイズレベルにまたがる場合、結果として生じる確率ポリシーの選択が最適化の主要な要因となる。近年の研究では, 目標流量係数の維持が規制されているが, この制約は政策のファミリーを認め, その選択基準を提供していない。我々は,Geo-FSRL(Geometry-Optimized Few-Step Reinforcement Learning,Geo-FSRL,Geo-FSRL,Geo-Optimized Few-Step Reinforcement Learning,Geo-FSRL)を導入する。等方的ガウス遷移の係数保存族の中で、この基準は、速度出力更新毎に条件KLを決定する単一のスカラー幾何学因子を最小化する。同じ因子が速度空間フィッシャー情報と条件遷移対数-様相-比の分散を支配している。非ゼロな更新サイズと方向を全て共有し、ソースレベルとターゲットノイズレベルの両方で遷移係数が決定される、このファミリー内のユニークな閉形式最適化器を導出する。最小化幾何係数は依然として時間ステップによって異なるため、事前の作業から勾配スケールマッチングを採用し、明示的なスコアスケールと参照-KL曲率を正規化する閉形式ポリシー勾配およびKL重みを導出する。 Geo-FSRLは最初の数ステップのスケジュールで運転し、推論時に決定論的解決器を保持する。提案手法は,4段階設定下の画像生成モデルと映像生成モデルの両方において,Flow-GRPOとFlow-CPSよりも高い最終報酬スコアを得る。コードはhttps://github.com/ModelTC/LightX2V/tree/main/lightx2v_rlで入手できる。

関連論文リスト

On Reparameterizing the Score Function [14.931537981159906]
自己回帰シーケンスモデルのポリシー勾配は、条件付き履歴を固定しながら各トークンのログ確率を区別する。これは、以前の決定が後続の条件分布をどのように形成したかに関する情報を捨て、報酬が不足するとクレジット割り当てボトルネックが生じる。スコア関数の凍結プレフィックスをパラメータ化あるいは緩和可能な履歴に置き換える、ヒストリー-Reパラメータ化(HR)ポリシー勾配を導入する。
論文参考訳（メタデータ） (2026-10-16T20:05:52Z)
ConicFlow: constrained Inference-time optimal control for flow matching models [72.24720987598323]
ConicFlowフレームは、最適制御問題として、推論時のフローマッチングモデルからのサンプリングを制約した。我々は,各ステップの軌跡のショートウィンドウのみを最適化し,遅延水平制御を適用して計算的トラクタビリティを向上する。最近の大規模フローマッチングモデルによる低次元および高次元の両方の実験により、ConicFlowは高い報酬と強い制約満足度を達成することが示された。
論文参考訳（メタデータ） (2026-10-09T20:32:34Z)
LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文参考訳（メタデータ） (2026-08-06T04:47:57Z)
Same Loss, Same Noise, Opposite Schedules: Noise Structure and Optimizer Normalization Jointly Determine Whether Learning-Rate Cooldown Helps [4.422349568747053]
本稿では,大規模モデル事前学習の既定であるウォームアップ安定度学習スケジュール(WSD)の段階について検討する。提案手法は, 勾配雑音の構造と勾配雑音の構造が正規化するか否かという2つの特性を同時に有する。
論文参考訳（メタデータ） (2026-07-14T05:21:38Z)
Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules [1.1602089225841632]
ヘッセンの逆平方根による勾配毎の重み付けを幾何学的に認識した勾配測度である曲率-重み付きダイバーシティ(CWGD)を導入する。 CWGD-Cosineは、標準コサインよりも約20%低い最終最適化誤差を達成する。これらの結果は、CWGDを最適化ノイズの原理的幾何認識尺度として確立し、より一般的な学習問題への将来の拡張を動機付けている。
論文参考訳（メタデータ） (2026-06-29T15:22:32Z)
Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
比クリッピングは流れモデルに不適であると主張する。本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
論文参考訳（メタデータ） (2026-06-09T15:59:57Z)
Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
論文参考訳（メタデータ） (2026-05-15T16:11:10Z)
Multi-Fidelity Flow Matching: Cascaded Refinement of PDE Solutions [6.144605787421899]
マルチフィデリティフローマッチング(Multi-Fidelity Flow Matching)は、PDEソリューションのためのカスケード改善フレームワークである。我々はこれをPDEソリューションのカスケード改善フレームワークであるMulti-Fidelity Flow Matching (MFFM)で活用する。 MFFMは、クエリ毎に決定論的ネットワーク評価を$L$で最良グリッドに達するマルチグリッド改善の学習アナログである。
論文参考訳（メタデータ） (2026-05-15T16:02:18Z)
Closed-Form Last Layer Optimization [72.49151473937319]
正方形損失の下では、線形最終層重みに対する最適解は閉形式で知られている。これは、バックボーン上の勾配降下ステップと最終層上のクローズドフォーム更新の交互に行われることを示す。
論文参考訳（メタデータ） (2025-10-06T09:14:39Z)
GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning [52.295563400314094]
2次法は学習アルゴリズムの収束率を改善するために広く採用されている。本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-05T04:27:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。