論文の概要: Flow-OPD: On-Policy Distillation for Flow Matching Models

• arxiv url: http://arxiv.org/abs/2605.08063v3
• Date: Thu, 14 May 2026 12:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 15:19:49.842208
• Title: Flow-OPD: On-Policy Distillation for Flow Matching Models
• Title（参考訳）: Flow-OPD:フローマッチングモデルのためのオンポリシィ蒸留
• Abstract要約: Flow-OPDは、オンライン蒸留をFlow Matchingモデルに統合するポストトレーニングフレームワークである。 これはGenEvalのスコアを63から92に引き上げ、OCRの精度を59から94に引き上げ、バニラGRPOよりも10点程度向上した。 これらの結果は、汎用的なテキスト-画像モデルを構築するためのスケーラブルなアライメントパラダイムとして、Flow-OPDを確立する。
• 参考スコア（独自算出の注目度）: 42.290892456464896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Flow Matching (FM) text-to-image models suffer from two critical bottlenecks under multi-task alignment: the reward sparsity induced by scalar-valued rewards, and the gradient interference arising from jointly optimizing heterogeneous objectives, which together give rise to a 'seesaw effect' of competing metrics and pervasive reward hacking. Inspired by the success of On-Policy Distillation (OPD) in the large language model community, we propose Flow-OPD, the first unified post-training framework that integrates on-policy distillation into Flow Matching models. Flow-OPD adopts a two-stage alignment strategy: it first cultivates domain-specialized teacher models via single-reward GRPO fine-tuning, allowing each expert to reach its performance ceiling in isolation; it then establishes a robust initial policy through a Flow-based Cold-Start scheme and seamlessly consolidates heterogeneous expertise into a single student via a three-step orchestration of on-policy sampling, task-routing labeling, and dense trajectory-level supervision. We further introduce Manifold Anchor Regularization (MAR), which leverages a task-agnostic teacher to provide full-data supervision that anchors generation to a high-quality manifold, effectively mitigating the aesthetic degradation commonly observed in purely RL-driven alignment. Built upon Stable Diffusion 3.5 Medium, Flow-OPD raises the GenEval score from 63 to 92 and the OCR accuracy from 59 to 94, yielding an overall improvement of roughly 10 points over vanilla GRPO, while preserving image fidelity and human-preference alignment and exhibiting an emergent 'teacher-surpassing' effect. These results establish Flow-OPD as a scalable alignment paradigm for building generalist text-to-image models. The codes and weights will be released in: https://github.com/CostaliyA/Flow-OPD .
• Abstract（参考訳）: 既存のフローマッチング (FM) テキスト・ツー・イメージモデルは、マルチタスクアライメントの下で2つの重要なボトルネックに悩まされている。 大規模言語モデルコミュニティにおけるOPD(On-Policy Distillation)の成功に触発されて、我々は、オンライン蒸留をフローマッチングモデルに統合する最初の統合後トレーニングフレームワークであるFlow-OPDを提案する。 Flow-OPDは、2段階のアライメント戦略を採用している: 最初は単方向GRPO微調整によってドメイン特化教師モデルを育成し、各専門家が単独でパフォーマンスの天井に達することができるようにし、次にフローベースのコールド・スタートスキームを通じて堅牢な初期方針を確立し、オン・ポリシー・サンプリング、タスク・ルーティング・ラベリング、密集した軌道レベルの監督という3段階のオーケストレーションを通じて、異種専門知識を1つの学生にシームレスに統合する。 さらに,タスク非依存の教師を駆使して,高品質な多様体に生成を固定し,純粋にRL駆動アライメントでよく見られる美的劣化を効果的に軽減する完全データ管理を提供するマニフォールドアンカー正規化(MAR)についても紹介する。 Flow-OPDは安定拡散3.5媒体に基づいて構築され、GenEvalのスコアを63から92に、OCRの精度を59から94に引き上げ、バニラGRPOよりも約10ポイント向上した。 これらの結果は、汎用的なテキスト-画像モデルを構築するためのスケーラブルなアライメントパラダイムとして、Flow-OPDを確立する。 コードと重みは、https://github.com/CostaliyA/Flow-OPD でリリースされる。

関連論文リスト

• Steering the Flow: Inverting Face Recognition Models via Gradient-Guided Flow Matching [17.11318422163162]
  モデル反転攻撃は、顔認識モデルからアイデンティティを再構築し、重要なセキュリティ脆弱性を明らかにすることを目的としている。 本稿では,2段階のホワイトボックスモデル逆変換法を提案する。 同一性非結合のクロス評価設定では、SFMIはACCの0.9248、FIDの22.61、LPIPSの0.3874をArcFaceターゲット上で達成する。
  論文  参考訳（メタデータ） (2026-08-17T16:47:09Z)
• Curvature-Adaptive Consistency Flow Matching: Autonomous Trajectory Optimization via Reinforcement Learning [8.422673935994451]
  連続蒸留は拡散モデルの推論を 著しく加速させました 本稿では,静的サンプリングの限界に対処するため,曲率適応整合フローマッチングを提案する。 提案手法は,FLUXやSDXLといった大規模モデルに対して,最新の結果を実現する。
  論文  参考訳（メタデータ） (2026-06-21T08:49:50Z)
• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Improved techniques for fine-tuning flow models via adjoint matching: a deterministic control pipeline [7.967038299436285]
  本稿では,フローベース生成モデルに対する人間の嗜好アライメントを定式化する決定論的随伴マッチングフレームワークを提案する。 この観点から、軌道の終端部分に焦点をあてたトランク付き随伴スキームを導入する。 我々は、標準KLベースの正規化を超えてフレームワークをさらに一般化し、アライメント強度と分布保存の間のより柔軟なトレードオフを可能にする。
  論文  参考訳（メタデータ） (2026-05-07T17:12:47Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• UniGRPO: Unified Policy Optimization for Reasoning-Driven Visual Generation [51.41441081823758]
  インターリーブドジェネレーションが可能な統一モデルが有望なパラダイムとして登場している。 インターリーブ・ジェネレーションに適した統合強化学習フレームワークを提案する。 実験により,この統合学習レシピは推論による画像生成品質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2026-03-24T17:59:17Z)
• Active Flow Matching [14.437387789022354]
  アクティブフローマッチング(AFM)は、フローに沿った条件付きエンドポイント分布を操作するための変動目的を再構成する。 我々は、自己正規化重要度サンプリングを用いて、前方および逆のKullback-Leibler(KL)変異を導出する。
  論文  参考訳（メタデータ） (2026-03-01T02:50:07Z)
• Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
  本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。 我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。 我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
  論文  参考訳（メタデータ） (2026-02-04T08:59:57Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• Fine-tuning Flow Matching Generative Models with Intermediate Feedback [23.447961856739422]
  フローベースの生成モデルは、テキスト・画像生成において顕著な成功を収めている。 既存のアプローチは、クレジット代入問題に苦しむ結果報酬からのみ学習する。 我々は3つの重要なイノベーションを通じてこれらの課題に対処する、堅牢なアクター批判フレームワークであるAC-Flowを紹介します。
  論文  参考訳（メタデータ） (2025-10-20T20:08:03Z)
• Adaptive Divergence Regularized Policy Optimization for Fine-tuning Generative Models [31.470613363668672]
  Adaptive Divergence Regularized Policy Optimization (Adaptive Divergence Regularized Policy Optimization) は、有利な推定値に基づいて正規化強度を自動的に調整する。 We implementation with Wasserstein-2 regularization for flow matching generative model is achieved great results on text-to-image generation。 ADRPOはテキストのみのLLMとマルチモーダル推論モデルの両方をKL規則化された微調整に一般化する。
  論文  参考訳（メタデータ） (2025-10-20T19:46:02Z)
• Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
  Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。 Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
  論文  参考訳（メタデータ） (2025-06-24T17:58:02Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
  本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
  論文  参考訳（メタデータ） (2025-02-09T22:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。