論文の概要: WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

• arxiv url: http://arxiv.org/abs/2609.27033v1
• Date: Tue, 22 Sep 2026 20:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.76189
• Title: WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
• Title（参考訳）: WTF!?Wasserstein-Tilted Flow Mapsを用いたシミュレーションフリー強化学習
• Abstract要約: Reward Fine-tuningは、トレーニング済みのフローベース生成モデルを更新して、生成されたサンプルの下流の報酬を改善することを目的としている。 本稿では,事前訓練ドリフトから直接構築した最適輸送レギュレータを提案する。 We called the result framework Wasserstein-Tilted Flow Maps (WTF), the first end-to-end fine-tuning recipe native to flow map。
• 参考スコア（独自算出の注目度）: 20.257177441662474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward fine-tuning aims to update a pre-trained flow-based generative model to improve the downstream reward of its generated samples. Existing methods typically formulate this problem as sampling from a reward-tilted distribution, the solution to a KL-regularized reward-maximization problem. Here, we introduce an optimal transport regularizer built directly from the pre-trained drift. Unlike KL reward tilting, the resulting objective transports individual samples toward higher reward rather than reweighting the base distribution. We show that the resulting problem is equivalent to a deterministic optimal control problem on the flow. Given a pre-trained flow map, this equivalence yields a simulation-free reinforcement learning algorithm for fine-tuning generative flows. We call the resulting framework Wasserstein-Tilted Flow Maps (WTF), the first end-to-end fine-tuning recipe native to flow maps. The output is a fine-tuned flow map that retains strong reward-aligned performance at few-step inference budgets without post-hoc distillation. Experiments on ImageNet-256 and text-to-image show that WTF achieves higher reward with comparable or higher diversity than baselines, while requiring up to $280\times$ less training compute. More broadly, we argue that accelerated samplers such as flow maps are essential infrastructure for efficient post-training, and that the dominant KL-regularized formulation is only one of many choices worth revisiting.
• Abstract（参考訳）: Reward Fine-tuningは、トレーニング済みのフローベース生成モデルを更新して、生成されたサンプルの下流の報酬を改善することを目的としている。 既存の方法は通常、この問題をKL正規化報酬最大化問題の解である報奨型分布からのサンプリングとして定式化する。 本稿では,事前訓練ドリフトから直接構築した最適輸送レギュレータを提案する。 KL報酬の傾きとは異なり、結果として得られる目的は、基底分布を再重み付けするのではなく、個々のサンプルをより高い報酬へ輸送する。 結果の問題は,フロー上の決定論的最適制御問題と等価であることを示す。 事前学習されたフローマップが与えられた場合、この等価性は、微調整された生成フローのためのシミュレーション不要な強化学習アルゴリズムをもたらす。 We called the result framework Wasserstein-Tilted Flow Maps (WTF), the first end-to-end fine-tuning recipe native to flow map。 出力は細調整されたフローマップであり, 後蒸留なしで数段階の推論予算で高い報酬整合性を維持している。 ImageNet-256とtext-to-imageの実験では、WTFはベースラインよりも同等あるいは高い多様性で高い報酬を達成する一方で、最大280\times$のトレーニング計算を必要としている。 より広範に、フローマップのような高速化されたサンプルは効率的な後学習に欠かせない基盤であり、支配的なKL正規化の定式化は、再考に値する多くの選択肢の1つであると論じる。

関連論文リスト

• Beckmann Transport Models: From Autonomous Flows to One-Step Maps [47.88178310873025]
  本稿では,時間非依存な速度場に依存する流れマッチングのインスタンス化を提案し,二つの分布をマッピングする。 また、この流れに付随する一段階生成写像が、単純な保存方程式のユニークな解であることも示している。
  論文  参考訳（メタデータ） (2026-08-03T04:45:52Z)
• Flow-Map GRPO: Reinforcement Learning for Few-Step Flow-Map Generators via Anchored Stochastic Composition [13.766141027420879]
  一貫性モデルやMeanFlowのような数ステップのフローマップジェネレータは、ノイズとデータの間の長距離トランスポートマップを直接学習することで、サンプリングを高速化する。 これらのモデルは典型的には決定論的であり、ポストトレーニング手法では最適化が困難である。 本稿では,数ステップのフローマップ生成のための決定論的ポストトレーニングフレームワークであるFlow-MapOを提案する。
  論文  参考訳（メタデータ） (2026-07-01T07:25:11Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Diamond Maps: Efficient Reward Alignment via Stochastic Flow Maps [54.18537904256945]
  フローと拡散モデルは高品質なサンプルを生成するが、ユーザー好みやトレーニング後の制約に適合させることは、コストがかかり、不安定である。 我々は、効率的な報酬アライメントは、余剰概念ではなく、生成モデル自体の特性であり、適応性のためのモデルであるべきだと主張する。 本稿では,任意の報酬を推論時に効率的に正確にアライメントできるフローマップモデル「ダイアモンドマップ」を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:42:00Z)
• Meta Flow Maps enable scalable reward alignment [22.109809498990362]
  生成モデルの制御には計算コストがかかる。 これは、推論時ステアリングや微調整による報酬関数の最適アライメントが、値関数を推定することを要求するためである。 フレームワークの一貫性モデルであるMeta Flow Map (MFM)を導入し、フローマップをシステムの拡張に適用する。
  論文  参考訳（メタデータ） (2026-01-20T19:39:56Z)
• Test-time scaling of diffusions with flow maps [68.79792714591564]
  テスト時の拡散モデルを改善するための一般的なレシピは、報酬の勾配を拡散そのものの力学に導入することである。 フローマップを直接扱うことで,簡単な解を提案する。 本研究では, 流図と流速場の関係を利用して, 従来のテスト時間法よりも精度の高いフローマップトラジェクトリ・ティルティング (FMTT) アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2025-11-27T18:44:12Z)
• Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
  拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。 広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。 本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:43:38Z)
• Towards Understanding and Improving GFlowNet Training [71.85707593318297]
  本稿では,学習したサンプリング分布と目標報酬分布を比較するための効率的な評価手法を提案する。 本稿では,高解像度のx$,相対的エッジフローポリシーのパラメータ化,新しい軌道バランス目標を提案する。
  論文  参考訳（メタデータ） (2023-05-11T22:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。