論文の概要: Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2603.12893v1
• Date: Fri, 13 Mar 2026 10:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:12.057007
• Title: Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models
• Title（参考訳）: テキスト-画像モデルのRL後処理における差分フロー最適化
• Authors: David McAllister, Miika Aittala, Tero Karras, Janne Hellsten, Angjoo Kanazawa, Timo Aila, Samuli Laine,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は, 拡散型画像合成モデルの訓練後の標準技術である。 本稿では, ペア軌道をサンプリングし, より好ましい画像の方向に流速を引いて, モデル更新のばらつきを低減するオンラインRL変種を提案する。 提案手法は, より高速に収束し, 出力品質が向上し, より迅速なアライメントが得られる。
• 参考スコア（独自算出の注目度）: 41.56292507255188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has become a standard technique for post-training diffusion-based image synthesis models, as it enables learning from reward signals to explicitly improve desirable aspects such as image quality and prompt alignment. In this paper, we propose an online RL variant that reduces the variance in the model updates by sampling paired trajectories and pulling the flow velocity in the direction of the more favorable image. Unlike existing methods that treat each sampling step as a separate policy action, we consider the entire sampling process as a single action. We experiment with both high-quality vision language models and off-the-shelf quality metrics for rewards, and evaluate the outputs using a broad set of metrics. Our method converges faster and yields higher output quality and prompt alignment than previous approaches.
• Abstract（参考訳）: Reinforcement Learning(RL)は、報酬信号から学習することで、画像の品質や迅速なアライメントなどの望ましい側面を明確に改善できるため、拡散ベース画像合成モデルの訓練後の標準技術となっている。 本稿では,ペア軌道をサンプリングし,より好ましい画像の方向に流速を引いて,モデル更新のばらつきを低減するオンラインRL変種を提案する。 各サンプリングステップを個別のポリシーアクションとして扱う既存の方法とは異なり、サンプリングプロセス全体を単一アクションとみなす。 我々は、高品質な視覚言語モデルと、報奨のための既製の品質指標の両方を実験し、幅広い指標を用いて出力を評価する。 提案手法は, より高速に収束し, 出力品質が向上し, より迅速なアライメントが得られる。

関連論文リスト

• Know Your Step: Faster and Better Alignment for Flow Matching Models via Step-aware Advantages [6.470160796651034]
  本研究では,画像モデルに対するフローマッチングテキストを,人間の好みによく適合した効率的な数ステップ生成器にトレーニングするための新しいフレームワークを提案する。 TAFS GRPOは画像生成のステップ数で高い性能を示し、生成した画像と人間の好みとのアライメントを大幅に改善する。
  論文  参考訳（メタデータ） (2026-02-02T03:32:00Z)
• Enhancing Diffusion-based Restoration Models via Difficulty-Adaptive Reinforcement Learning with IQA Reward [93.04811239892852]
  強化学習(Reinforcement Learning, RL)は近年, 拡散モデルに組み入れられている。 本稿では,拡散型修復モデルにRLを効果的に組み込む方法について検討する。
  論文  参考訳（メタデータ） (2025-11-03T14:57:57Z)
• AR-GRPO: Training Autoregressive Image Generation Models via Reinforcement Learning [56.71089466532673]
  本稿では,自己回帰(AR)画像生成モデルにオンラインRLトレーニングを統合するアプローチであるAR-GRPOを提案する。 クラス条件(クラス・ツー・イメージ)とテキスト条件(テキスト・ツー・イメージ)の両方のイメージ生成タスクについて包括的な実験を行う。 その結果,様々な評価指標に対して一貫した改善が得られた。
  論文  参考訳（メタデータ） (2025-08-09T10:37:26Z)
• Fine-Tuning Next-Scale Visual Autoregressive Models with Group Relative Policy Optimization [1.1510009152620668]
  強化学習(Reinforcement Learning, RL)を用いた微調整事前学習生成モデルは, 出力と人間の嗜好を整合させる効果的なアプローチとして登場した。 RLに基づくファインチューニングは、VARモデルに対して効率的かつ効果的であり、特に高速な推論速度の恩恵を受けていることを示す。
  論文  参考訳（メタデータ） (2025-05-29T10:45:38Z)
• Policy Optimized Text-to-Image Pipeline Design [73.9633527029941]
  本稿では,テキスト・ツー・イメージ生成のための新しい強化学習フレームワークを提案する。 提案手法は、まず、画像品質のスコアをインタプリタ-ワークフローの組み合わせから直接予測できる報奨モデルのアンサンブルを訓練する。 次に、最初の語彙学習とGRPOに基づく最適化という2段階のトレーニング戦略を実装した。
  論文  参考訳（メタデータ） (2025-05-27T17:50:47Z)
• Learning Efficient and Effective Trajectories for Differential Equation-based Image Restoration [59.744840744491945]
  本稿では, この手法の軌道最適化を改良し, 復元品質と効率の両立に焦点をあてる。 反復サンプリングに伴うかなりの計算負担を軽減するため,コストを考慮したトラジェクトリー蒸留法を提案する。 提案アルゴリズムを用いて基礎拡散モデル(FLUX)を12Bパラメータで微調整し、7種類の画像復元タスクを処理する統一的なフレームワークを作成する。
  論文  参考訳（メタデータ） (2024-10-07T07:46:08Z)
• RL for Consistency Models: Faster Reward Guided Text-to-Image Generation [15.238373471473645]
  強化学習(RL)を用いた微調整一貫性モデルのためのフレームワークを提案する。 RLCM(Reinforcement Learning for Consistency Model)と呼ばれる我々のフレームワークは、一貫性モデルの反復推論プロセスをRLプロシージャとしてフレーム化します。 RL微調整拡散モデルと比較して、RCCMの列車は大幅に高速で、報奨目標に基づいて測定された生成の質を向上し、2段階の推論ステップで高品質な画像を生成することにより推論手順を高速化する。
  論文  参考訳（メタデータ） (2024-03-25T15:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。