論文の概要: LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction

• arxiv url: http://arxiv.org/abs/2608.05600v1
• Date: Thu, 06 Aug 2026 04:47:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.699793
• Title: LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction
• Title（参考訳）: LC-GRPO:Langevin補正によるフローベースGRPOのブリッジングトレイン推論ギャップ
• Abstract要約: フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
• 参考スコア（独自算出の注目度）: 59.32834240526981
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Flow-based generative models are typically sampled by solving a deterministic ordinary differential equation (ODE), whereas online reinforcement learning requires stochastic rollouts for policy exploration and optimization. Existing GRPO methods for flow models therefore replace the inference-time ODE with a stochastic differential equation (SDE) during training. Although the ODE and SDE share the same marginal distributions in continuous time, their finite-step discretizations can differ substantially. In particular, SDE rollouts often become blurry as the exploration noise increases, creating a mismatch between the samples used for reinforcement learning and those generated by the test-time ODE sampler. We introduce LC-GRPO, a flow-based GRPO framework with Langevin correction. Each rollout transition first takes an inference-aligned ODE Euler step and then applies a stochastic Langevin correction targeting the marginal distribution at the resulting timestep. The required score is recovered directly from the flow velocity, requiring no additional score model, while the resulting transition remains an isotropic Gaussian with a tractable likelihood for policy optimization. We theoretically show that, under suitable conditions, one Langevin correction step reduces the Wasserstein error of an imperfect ODE Euler step. At a matched randomness level, we further show that the proposed transition can be more accurate than the standard Euler--Maruyama discretization of the reverse SDE. Experiments on SD3.5-Medium, FLUX.1-Dev, and HunyuanVideo demonstrate that LC-GRPO consistently improves reward optimization across text-to-image and text-to-video tasks, preserves generation quality, and substantially narrows the gap between stochastic training rollouts and deterministic test-time ODE inference.
• Abstract（参考訳）: フローベース生成モデルは典型的には決定論的常微分方程式(ODE)を解くことによってサンプリングされるが、オンライン強化学習は政策探索と最適化のために確率的なロールアウトを必要とする。 したがって、既存のフローモデルのためのGRPO法は、トレーニング中に推論時ODEを確率微分方程式(SDE)に置き換える。 ODE と SDE は同じ限界分布を連続的に共有するが、それらの有限ステップの離散化は著しく異なる。 特にSDEロールアウトは、探索ノイズが増加するにつれてぼやけてしまい、強化学習に使用されるサンプルと試験時間ODEサンプリング器が生成するサンプルとのミスマッチが生じる。 本稿では,Langevin を補正したフローベース GRPO フレームワーク LC-GRPO を紹介する。 各ロールアウト遷移はまず推論整列ODE Euler ステップを受け取り、その結果の時間ステップで限界分布をターゲットとした確率的ランゲヴィン補正を適用する。 必要なスコアはフロー速度から直接回収され、追加のスコアモデルを必要としない。 理論的には、適切な条件下では、1つのランゲヴィン補正ステップが不完全ODEオイラーステップのワッサーシュタイン誤差を減少させることを示す。 一致したランダム度レベルでは、提案された遷移は、逆SDEの標準Euler-Maruyama離散化よりも精度が高いことを示す。 SD3.5-Medium、FLUX.1-Dev、HunyuanVideoの実験では、LC-GRPOはテキスト・ツー・イメージタスクとテキスト・トゥ・ビデオタスク間の報酬最適化を一貫して改善し、生成品質を保ち、確率的トレーニングロールアウトと決定論的テスト時間ODE推論のギャップを大幅に狭めることを示した。

関連論文リスト

• Guided Flow Matching for Forward and Inverse PDE Problems with Sparse Observations: Algorithm and Theory [2.148615003900331]
  PDE係数の結合分布を学習するフローマッチング生成フレームワークFM4PDEを提案する。 静的および時間依存型ベンチマークPDEの実験では、拡散に基づく生成モデルよりも競合精度と高速な推論が示されている。
  論文  参考訳（メタデータ） (2026-05-25T07:14:11Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• Variational Smoothing and Inference for SDEs from Sparse Data with Dynamic Neural Flows [2.9746075314244376]
  本研究では, 部分的に観測された系における後方微分方程式(SDE)の平滑化手法を開発した。 我々は、支配的PDEと観察誘発ジャンプ条件の両方を満たすために訓練されたニューラルネットワークを用いて、この条件スコアを学習する。 得られたスコアは、同じ拡散係数を持つ後部SDEを誘導するが、修正されたドリフトを誘導し、効率的な後部軌道を可能にする。
  論文  参考訳（メタデータ） (2026-05-07T02:47:06Z)
• Neural Stochastic Flows: Solver-Free Modelling and Inference for SDE Solutions [23.147474211347856]
  我々はニューラルフロー(NSF)とその潜伏変種を導入し、SDE遷移則を直接学習する(最近)。 合成SDEシミュレーションと実世界の追跡とビデオデータを用いた実験により,NSFは数値的アプローチに匹敵する分布精度を維持していることが示された。
  論文  参考訳（メタデータ） (2025-10-29T17:59:06Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Diffusion Schr\"odinger Bridge with Applications to Score-Based Generative Modeling [24.46142828617484]
  Diffusion SB は、Schr"odinger Bridge 問題を解くために、Iterative Proportional Fitting (IPF) 手順のオリジナル近似である。 本稿では,SB問題の解法としてIterative Proportional Fitting (IPF) 法のオリジナル近似であるDiffusion SBを提案する。
  論文  参考訳（メタデータ） (2021-06-01T17:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。