論文の概要: FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models

• arxiv url: http://arxiv.org/abs/2609.09905v1
• Date: Wed, 09 Sep 2026 09:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.960693
• Title: FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models
• Title（参考訳）: FlowCPO: フローモデルにおける参照アライメントの統一的多様化
• Abstract要約: FlowCPOはオフラインのフォワードKL目標であり、オンラインロールアウトなしで好ましくないサンプルと好ましくないサンプルの両方を使用する。 本研究では,FlowCPOが評価基準値よりも平均GenEval,OCRスコアが高いことを示す。 ドメイン外設定では、結果は混合され、最も優れたGenEval結果を持つが、いくつかのメトリクスにおいてCFTよりも報酬スコアが低い。
• 参考スコア（独自算出の注目度）: 17.73780737579933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preference alignment for flow and diffusion models now spans online reinforcement learning and offline preference optimization, but the relation between these methods remains unclear. In particular, existing forward-process alignment methods require fresh samples from the current model, while offline methods based on fixed preference pairs rely primarily on positive-only fine-tuning or DPO-style likelihood-ratio surrogates. We organize these approaches through a divergence-based framework and introduce FlowCPO, an offline forward-KL objective that uses both preferred and dispreferred samples without online rollouts. For linear interpolation, we show under explicit regularity conditions that the forward-KL objective is bounded by a contrastive flow matching loss, yielding a tractable surrogate on fixed data. We further show that this loss is nonnegative, whereas the signed regression loss of simplified FlowDPO can be unbounded below. In the in-domain setting, FlowCPO achieves higher mean GenEval and OCR scores than the evaluated baselines, reaching 0.84 and 0.87 versus 0.81 and 0.74 for FlowDPO at CFG 3.0. In the out-of-domain setting, the results are mixed, with the best GenEval result but lower reward scores than RFT on several metrics.
• Abstract（参考訳）: フローおよび拡散モデルに対する優先アライメントは、オンライン強化学習とオフライン優先最適化にまたがっているが、これらの方法との関係は未だ不明である。 特に、既存のフォワードプロセスアライメント法は、現在のモデルからの新たなサンプルを必要とするが、固定された選好ペアに基づくオフラインメソッドは、主に正のみの微調整またはDPOスタイルの確率比サロゲートに依存している。 分散ベースのフレームワークを通じてこれらのアプローチを整理し、オンラインロールアウトなしで好まれるサンプルと好ましくないサンプルの両方を使用するオフラインのフォワードKL目標であるFlowCPOを導入する。 線形補間では、前方KLの目的が対照的なフローマッチング損失によって束縛されていることを示し、固定されたデータに対してトラクタブル・サロゲートが生じる。 さらに、この損失は非負であることを示す一方、単純化されたFlowDPOの符号付き回帰損失は以下に示すことができる。 ドメイン内設定では、FlowCPOは評価ベースラインよりも平均GenEvalとOCRスコアが高く、CFG 3.0でFlowDPOが0.84、0.87、0.74に達する。 ドメイン外設定では、結果は混合され、最も優れたGenEval結果を持つが、いくつかの指標においてRTTよりも報酬スコアが低い。

関連論文リスト

• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• TPMM-DPO: Trajectory-aware Preference-guided Model Merging for Iterative Direct Preference Optimization [0.0]
  提案するTPMM-DPOは,軌道対応の嗜好誘導モデルマージ手法である。 従来の反復DPOとは対照的に、TPMM-DPOはノイズの好みによって引き起こされるエラーの蓄積を効果的に軽減する。
  論文  参考訳（メタデータ） (2026-05-22T09:11:20Z)
• Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models [5.527466367347639]
  統合逆時間SDEフレームワークによる拡散とフローマッチングの両方をカバーする汎用DPO目標を導出する。 攻撃的シグモイドベースユーティリティ関数を持続的線形ユーティリティに置き換え,EMA更新参照モデルを組み込んだLinear-DPOを提案する。
  論文  参考訳（メタデータ） (2026-05-20T12:54:51Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• Preference Trajectory Modeling via Flow Matching for Sequential Recommendation [50.077447974294586]
  シーケンスレコメンデーションは、履歴的なインタラクションシーケンスに基づいて、各ユーザの次の項目を予測する。 FlowRecはシンプルだが効果的なシーケンシャルレコメンデーションフレームワークである。 我々は,ガウス雑音に代えてパーソナライズされた行動に基づく事前分布を構築し,ユーザの嗜好軌跡をモデル化するためのベクトル場を学習する。
  論文  参考訳（メタデータ） (2025-08-25T02:55:42Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [90.15024547673785]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Flow Matching Posterior Sampling: A Training-free Conditional Generation for Flow Matching [13.634043135217254]
  本稿では,Flow Matching を用いた Posterior Smpling (FMPS) を提案し,その適用範囲を拡大する。 この補正項は、サロゲートスコア関数を組み込むように再構成することができる。 FMPSは既存の最先端手法に比べて優れた世代品質が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-12T08:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。