Fugu-MT 論文翻訳(概要): Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

論文の概要: Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking

arxiv url: http://arxiv.org/abs/2608.20011v1
Date: Thu, 20 Aug 2026 13:25:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-21 20:28:51.572241
Title: Manifold Drift in Flow Preference Optimization: A Root Cause of Reward Hacking
Title（参考訳）: フロー選好最適化におけるマニフォールドドドリフト:リワードハッキングの根本原因
Abstract要約: フローマッチングにおいて、報酬駆動更新は、事前訓練されたデータ多様体に固有の制約を伴わずに、輸送軌跡を変更する。本研究では,温度制御の対象である温度制御型サーモDPOを提案する。その結果, FlowDPOは0.629, FlowDPO+RFTは0.857であった。
参考スコア（独自算出の注目度）: 14.892670330105991
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Preference optimization is a standard alignment method for generative models, yet extending it to continuous-time dynamics remains non-trivial. In flow matching, reward-driven updates modify transport trajectories without an inherent constraint to the pretrained data manifold and can move terminal samples off the pretrained support. We formalize this failure mode as manifold drift. Theoretically, we show that optimal flow matching recovers the terminal data distribution, whereas a preference update leaves the pretrained manifold whenever its induced terminal displacement has a nonzero normal component. As a remedy, we propose ThermoDPO, a temperature-controlled objective that anchors pairwise preference optimization on preferred samples. Across temperature regimes, this objective connects rejection sampling fine-tuning and FlowDPO and controls a pointwise reconstruction-based surrogate for manifold distance. To counteract diminished signals at low temperatures, we further introduce a weighted variant, ThermoDPO-weighted. On the main toy benchmark, ThermoDPO-weighted attains a StrictScore of 0.899, compared with 0.629 for FlowDPO and 0.857 for FlowDPO+RFT. On SD3.5-M at CFG = 4.5, it improves OCR by 47.5% and the average of four metrics by 16.0%.
Abstract（参考訳）: 優先度最適化は生成モデルの標準的なアライメント手法であるが、それを連続時間力学に拡張することは簡単ではない。フローマッチングにおいて、報酬駆動更新は、事前訓練されたデータ多様体に固有の制約を伴わずにトランスポートトラジェクトリを変更し、端末サンプルを事前訓練されたサポートから移動させることができる。この故障モードを多様体ドリフトとして定式化する。理論的には、最適流れマッチングが端末データ分布を回復するのに対し、優先更新は、その誘導された終端変位が非ゼロ正規成分を持つ場合、予め訓練された多様体を離れる。本研究では,温度制御の対象である温度制御型サーモDPOを提案する。本研究の目的は, 温度条件全体にわたって, リジェクションサンプリングとフローDPOを結合し, 多様体距離に対するポイントワイド再構成に基づくサロゲートを制御することである。低温下での劣化信号に対処するため,重み付き変種であるサーモDPO重みを導入している。おもちゃのベンチマークでは、StrictScoreが0.899、FlowDPOが0.629、FlowDPO+RFTが0.857となる。 CFG = 4.5のSD3.5-Mでは、OCRを47.5%改善し、4つのメトリクスの平均を16.0%改善している。

関連論文リスト

FlowCPO: A Unified Divergence View of Preference Alignment for Flow Models [17.73780737579933]
FlowCPOはオフラインのフォワードKL目標であり、オンラインロールアウトなしで好ましくないサンプルと好ましくないサンプルの両方を使用する。本研究では,FlowCPOが評価基準値よりも平均GenEval,OCRスコアが高いことを示す。ドメイン外設定では、結果は混合され、最も優れたGenEval結果を持つが、いくつかのメトリクスにおいてCFTよりも報酬スコアが低い。
論文参考訳（メタデータ） (2026-09-09T09:03:59Z)
On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文参考訳（メタデータ） (2026-08-25T14:55:24Z)
FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models [65.32587991232592]
フロー連続軌道スーパービジョン(FlowCTS)を提案する。 FlowCTSは、同じ学生訪問状態の学生と参照軌跡とを一致させる。マルチ参照設定では、単一状態のFlowCTS-OPDはバニラKLベースのOPDよりも高速な収束で性能が向上する。
論文参考訳（メタデータ） (2026-07-27T15:03:22Z)
FlowAWR: Online Adaptive Flow Reinforcement via Advantage-Weighted Rectification [8.844630850243929]
FlowAWRは、理論上最適な速度場に対する教師付き回帰として、連続生成ポリシー最適化をリキャストする。マルチリワード制約の下では、FlowAWRは生成品質を維持し、安定したドメイン外のパフォーマンスを維持しながら構造ルールを満たす。
論文参考訳（メタデータ） (2026-06-29T14:37:36Z)
PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models [0.8594140167290097]
事前訓練されたテキスト-画像モデルの推測時間アライメントは、通常、単一の制御軸に沿って実行される。我々は、軌道レベルのギブスマップ/近位エネルギー最適化として推論時間アライメントを定式化する、トレーニング不要のフレームワークPG-MAPを提案する。
論文参考訳（メタデータ） (2026-06-22T07:36:36Z)
Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
論文参考訳（メタデータ） (2026-05-15T16:11:10Z)
Gradual Fine-Tuning for Flow Matching Models [5.549222664526887]
Gradual Fine-Tuning (GFT) は、フローベース生成モデルを微調整するための原則的なフレームワークである。流れについて、GFTは、事前訓練されたドリフトと目標ドリフトの間を円滑に介在する中間目標の温度制御配列を定義している。 GFTは収束安定性を改善し、確率パスを短縮し、推論を高速化し、標準の微調整に匹敵する生成品質を維持する。
論文参考訳（メタデータ） (2026-01-30T03:07:47Z)
Guided Path Sampling: Steering Diffusion Models Back on Track with Principled Path Guidance [5.814544128372275]
本稿では,反復的改善のための新しいパラダイムとしてガイドパスサンプリング(GPS)を提案する。 GPSは不安定な外挿を、データ多様体上のサンプリングパスが残るように、原理化された、多様体に制約されたものに置き換える。 GPSは、知覚品質と複雑なプロンプト順守の両方において、既存の手法より優れています。
論文参考訳（メタデータ） (2025-12-28T11:12:56Z)
From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文参考訳（メタデータ） (2025-10-06T17:58:01Z)
DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
論文参考訳（メタデータ） (2025-09-19T16:09:33Z)
DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
論文参考訳（メタデータ） (2024-09-05T17:59:46Z)
Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文参考訳（メタデータ） (2024-05-01T17:59:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。