論文の概要: FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification
- arxiv url: http://arxiv.org/abs/2606.30376v1
- Date: Mon, 29 Jun 2026 14:37:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.283161
- Title: FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification
- Title（参考訳）: FlowAWR:Advantage-Weighted Rectificationによるオンライン適応型フロー強化
- Abstract要約: FlowAWRは、理論上最適な速度場に対する教師付き回帰として、連続生成ポリシー最適化をリキャストする。
マルチリワード制約の下では、FlowAWRは生成品質を維持し、安定したドメイン外のパフォーマンスを維持しながら構造ルールを満たす。
- 参考スコア（独自算出の注目度）: 8.844630850243929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning generative flow models on continuous spaces via online reinforcement learning is constrained by intractable trajectory likelihoods. Existing density-approximated policy gradient methods rely on stochastic SDE samplers to construct tractable transition kernels, which introduce training-inference inconsistencies and necessitates Classifier-Free Guidance (CFG). While implicit frameworks such as DiffusionNFT directly optimize forward-process velocity fields, its heuristic fixed-magnitude corrections prevent optimization strength from relative intra-group quality. We propose \textit{Flow Advantage-Weighted Rectification} (\textbf{FlowAWR}), a paradigm that recasts continuous generative policy optimization as supervised regression toward a theoretically optimal velocity field. Starting from the optimal policy of a KL-constrained reward maximization, FlowAWR derives the optimal velocity field that admits a magnitude-aware, advantage-weighted rectification form, yielding SDE-free optimization and CFG-free generation. In comparative evaluations on SD3.5-Medium, FlowAWR achieves improved alignment performance alongside a 2$\times$ to 5$\times$ convergence acceleration over DiffusionNFT (e.g., reaching a 24.12 PickScore in 1.2k steps, versus 23.82 in 2.0k steps for DiffusionNFT and 23.50 in $>$4k steps for FlowGRPO). Under multi-reward constraints, FlowAWR sustains generation quality, satisfying structural rules while maintaining stable out-of-domain performance.
- Abstract（参考訳）: オンライン強化学習による連続空間上の生成フローモデルの調整は、難易度によって制約される。
既存の密度近似ポリシー勾配法は、訓練推論の不整合を導入し、分類自由誘導(CFG)を必要とする、トラクタブル・トランジション・カーネルを構築するための確率的SDEサンプリングに頼っている。
DiffusionNFTのような暗黙的なフレームワークは前処理速度場を直接最適化するが、そのヒューリスティックな固定磁気補正はグループ内の相対的な品質から最適化強度を妨げている。
本稿では,理論上最適速度場への教師付き回帰として連続的生成ポリシー最適化を再放送するパラダイムである,‘textit{Flow Advantage-Weighted Rectification} を提案する。
KL制約による報酬最大化の最適ポリシから、FlowAWRは、大小認識で有利な修正形式を許容し、SDEのない最適化とCFGのない生成をもたらす最適な速度場を導出する。
SD3.5-Mediumの比較評価では、FlowAWRは2$\times$から5$\times$コンバージェンスアクセラレーション(例えば、1.2kステップで24.12ピックスコアに達し、DiffusionNFTの2.0kステップでは23.82、FlowGRPOの23.50ドルから4kステップ)と共にアライメント性能の改善を実現している。
マルチリワード制約の下では、FlowAWRは生成品質を維持し、安定したドメイン外のパフォーマンスを維持しながら構造ルールを満たす。
関連論文リスト
- FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models [65.32587991232592]
フロー連続軌道スーパービジョン(FlowCTS)を提案する。
FlowCTSは、同じ学生訪問状態の学生と参照軌跡とを一致させる。
マルチ参照設定では、単一状態のFlowCTS-OPDはバニラKLベースのOPDよりも高速な収束で性能が向上する。
論文 参考訳（メタデータ） (2026-07-27T15:03:22Z) - Drifting Models for Surrogate Flow Modeling [0.4925906256430175]
学習されたVAE潜在空間でドリフトを行う条件付きアーキテクチャを導入し,ラベル認識マスキングを用いて生成したサンプルを境界条件に整列させる。
我々のモデルは、2桁の精度と流れの整合性の反復拡散に一致し、2桁の速度で実行することができる。
論文 参考訳（メタデータ） (2026-06-05T17:35:09Z) - Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。
終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。
EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
論文 参考訳（メタデータ） (2026-05-15T16:11:10Z) - Improved techniques for fine-tuning flow models via adjoint matching: a deterministic control pipeline [7.967038299436285]
本稿では,フローベース生成モデルに対する人間の嗜好アライメントを定式化する決定論的随伴マッチングフレームワークを提案する。
この観点から、軌道の終端部分に焦点をあてたトランク付き随伴スキームを導入する。
我々は、標準KLベースの正規化を超えてフレームワークをさらに一般化し、アライメント強度と分布保存の間のより柔軟なトレードオフを可能にする。
論文 参考訳（メタデータ） (2026-05-07T17:12:47Z) - Riemannian MeanFlow for One-Step Generation on Manifolds [54.09734511705173]
フローマッチングは、生成モデルのシミュレーション不要なトレーニングを可能にする。
平均フローは、位置依存接空間に速度が存在する多様体値生成に拡張することができる。
球面, トーリ, SO(3)における実験は, 品質・効率のトレードオフを改善し, サンプリングコストを大幅に削減して, 競争力のある一段階サンプリングを実証した。
論文 参考訳（メタデータ） (2026-03-11T12:41:46Z) - Improving Classifier-Free Guidance of Flow Matching via Manifold Projection [3.6087998976768128]
最適化のレンズによるCFGの原理的解釈を提供する。
CFGサンプリングを多様体制約によるホモトピー最適化として再構成する。
提案手法は, トレーニング不要かつ一貫した生成忠実度, 迅速なアライメント, ガイダンス尺度に対するロバスト性である。
論文 参考訳（メタデータ） (2026-01-29T15:49:31Z) - Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。
SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。
この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
論文 参考訳（メタデータ） (2025-10-17T07:43:51Z) - Rectified-CFG++ for Flow Based Models [26.896426878221718]
本稿では,修正フローの決定論的効率を幾何学的条件付きルールと組み合わせた適応型予測器・補正器ガイダンスであるRectified-C++を提案する。
大規模なテキスト・ツー・イメージモデル(Flux, Stable Diffusion 3/3.5, Lumina)の実験では、Rectified-C++がベンチマークデータセットの標準CFGを一貫して上回っていることが示されている。
論文 参考訳（メタデータ） (2025-10-09T00:00:47Z) - DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。
DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
論文 参考訳（メタデータ） (2025-09-19T16:09:33Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - Diffusion-Sharpening: Fine-tuning Diffusion Models with Denoising Trajectory Sharpening [56.99266993852532]
拡散シャープニング(Diffusion-Sharpening)は、サンプリング軌道を最適化することで下流のアライメントを向上させる微調整手法である。
提案手法は, NFEを必要とせず, より高速に収束し, 最高の推論効率を示す。
論文 参考訳（メタデータ） (2025-02-17T18:57:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。