論文の概要: Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow

• arxiv url: http://arxiv.org/abs/2608.29647v1
• Date: Sun, 30 Aug 2026 08:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.038648
• Title: Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
• Title（参考訳）: ワーサースタイン勾配流による1ステップ生成モデルの逆誘導微調整
• Abstract要約: 本稿では,Wasserstein Gradient Flowを用いた1ステップ生成モデルの報酬誘導微調整を提案する。 我々は、報酬勾配を必要としない実践的な訓練手法を導出し、非微分可能報酬と微分可能報酬の両方を扱います。 本手法は,報酬のハッキングとモード崩壊を緩和しつつ,スムーズで安定した報奨誘導型分布更新を提供する。
• 参考スコア（独自算出の注目度）: 10.90140528360878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To mitigate the time complexity of generative models, one-step generative models have recently emerged through direct mapping from noise to data in a single forward pass. However, the reward-guided fine-tuning method of one-step generative models remains largely unexplored. To address this, we consider one-step generators from an optimal transport view, investigating Wasserstein Gradient Flow (WGF) for modeling smooth and controlled distributional evolution in probability space. We then propose a novel reward-guided fine-tuning of a one-step generative model via WGF. We derive a practical training method that requires no reward gradients, thereby handling both non-differentiable and differentiable rewards. Moreover, our method provides smooth and stable reward-guided distributional updates while mitigating reward hacking and mode collapse. Experiments on 2D synthetic data, CIFAR-10, and ImageNet 256$\times$256 with diverse rewards, including JPEG (in)compressibility, class probability, Black-and-White and CLIP alignment, show that our method achieves better reward alignment compared to baselines.
• Abstract（参考訳）: 生成モデルの時間的複雑さを軽減するため、一段階生成モデルは最近、ノイズからデータへの1つの前方通過への直接マッピングによって現れた。 しかし、一段階生成モデルの報酬誘導微調整法はほとんど探索されていない。 そこで本稿では,WGF(Wasserstein Gradient Flow)を用いて確率空間のスムーズかつ制御された分布進化をモデル化する。 次に、WGFを用いた一段階生成モデルの報酬誘導微調整を提案する。 報酬勾配を必要とせず、非微分可能と微分可能の両方の報酬を扱う実践的な訓練手法を導出する。 さらに,本手法は,報酬のハッキングやモード崩壊を緩和しつつ,スムーズかつ安定した報奨誘導型配信更新を提供する。 2次元合成データであるCIFAR-10とImageNet 256$\times$256の実験は、JPEG(in)圧縮性、クラス確率、Black-and-White、CLIPアライメントなどの様々な報奨を伴い、本手法がベースラインよりも優れた報酬アライメントを実現することを示す。

関連論文リスト

• Perceptual Flow Matching for Few-Step Generative Modeling [64.26537634881244]
  知覚フローマッチング(Perceptual Flow Matching)は、フローマッチングモデルにおいて、数ステップ生成のためのフレームワークである。 PFMは、適切な表現空間で教師される際に、高品質な数ステップジェネレータを生成する。
  論文  参考訳（メタデータ） (2026-07-03T17:55:01Z)
• Aligning Few-Step Generative Models by Amortizing Sample-based Variational Inference [60.82875447631739]
  FAV, Few-step Generative Models Alignment via Sample-based Variational Inference。 基準分布に固定された報奨型分布からのサンプリングとしてのFAVキャストアライメント ロボット操作と画像生成のアライメントの2つの領域でFAVを評価する。
  論文  参考訳（メタデータ） (2026-05-26T05:02:49Z)
• One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
  W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。 我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
  論文  参考訳（メタデータ） (2026-05-12T08:29:44Z)
• Scaling Categorical Flow Maps [29.25832277355597]
  連続拡散とフローマッチングモデルは、言語モデリングにおける自己回帰的なアプローチの強力な代替となるかもしれない。 ほぼデータレベルのトークンエントロピーを維持しつつ,4ドル程度の推論ステップで多種多様な高品質テキストを生成する方法を示す。 これらのモデルを大規模にトレーニングすることで生じる課題を明らかにし、損失重み付けと時間スケジューリングに関する規範的な洞察を提供する。
  論文  参考訳（メタデータ） (2026-05-08T14:50:57Z)
• Unlearning for One-Step Generative Models via Unbalanced Optimal Transport [11.695528552671371]
  UOT-Unlearnはワンステップ生成モデルのための新しいプラグイン・アンド・プレイクラス・アンラーニングフレームワークである。 本手法は,未学習を基本的トレードオフとして定式化し,目標クラスを抑圧する忘れコストと,$f$-divergenceのペナルティを規定する。
  論文  参考訳（メタデータ） (2026-03-17T13:19:04Z)
• FAIL: Flow Matching Adversarial Imitation Learning for Image Generation [52.643484089126844]
  フローマッチングモデルのポストトレーニング-高品質な目標値による出力分布の調整-数学的にはImitation Learningと等価である。 本研究では,明示的な報酬やペア比較を伴わずに,対人訓練による政策-専門的差異を最小限に抑えるフローマッチング・アドリアラーニング(FAIL)を提案する。
  論文  参考訳（メタデータ） (2026-02-12T16:36:33Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。