論文の概要: DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
- arxiv url: http://arxiv.org/abs/2609.31882v2
- Date: Thu, 01 Oct 2026 03:01:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.350585
- Title: DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
- Title（参考訳）: DOHF: Doobの$h$-transform Guidanceを使ったオンライン拡散ファインチューニング
- Abstract要約: 逆ベース拡散微調整は、望ましい結果が稀である場合や条件付け補正が見積りに費用がかかる場合、実践的な課題に直面している。
本研究では,Diffusion Online $h$-guidance Fine-tuning (DOHF)を提案する。
- 参考スコア（独自算出の注目度）: 7.967038299436285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reward-based diffusion fine-tuning faces practical challenges when desirable outcomes are rare or conditioning corrections are costly to estimate. In this work, we propose Diffusion Online $h$-guidance Fine-tuning (DOHF), which turns Doob's $h$-transform into a practical online training algorithm. DOHF assigns optimality weights to generated samples, estimates the normalized local correction $\nabla\log h$ under the current rollout policy, and distills it directly into the generative model. Theoretically, we characterize the population-optimal DiffusionNFT update as well as the various classfier free guidance methods through a unified $h$-transform perspective. Methodologically, our framework accommodates black-box and non-differentiable rewards without additional network evaluations. We further show improved alignments under three empirical scenarios. Our work demonstrates how adapting probabilistic conditioning through inexpensive estimation and iterative distillation can improve generative learning across statistical sampling and visual generation.
- Abstract（参考訳）: 逆ベース拡散微調整は、望ましい結果が稀である場合や条件付け補正が見積りに費用がかかる場合、実践的な課題に直面している。
本研究では,Diffusion Online $h$-guidance Fine-tuning (DOHF)を提案する。
DOHFは生成されたサンプルに最適度重みを割り当て、現在のロールアウトポリシーの下で正規化された局所補正$\nabla\log h$を推定し、生成モデルに直接蒸留する。
理論的には、集団最適拡散NFT更新と、h$-transformの統一的な視点による様々なクラスファイアフリーガイダンス手法を特徴付ける。
提案手法は,ネットワーク評価を必要とせず,ブラックボックスや非微分可能報酬に対応している。
さらに,3つの経験的シナリオ下でのアライメントの改善を示す。
本研究は, 統計的サンプリングと視覚生成による生成学習を, 安価に評価し, 反復蒸留により, 確率条件の適応がいかに向上するかを実証するものである。
関連論文リスト
- Are we really tilting? The mechanics of reward guidance in flow and diffusion models [1.4064491732635236]
逆誘導アルゴリズムは、学習した生成過程を推論時に報奨型尺度に導出する。
経験的に強力だが、これらの手法はハッキングに報いる傾向にある。
報酬誘導拡散の最も実践的な実装における近似から報奨ハッキングが発生することを示す。
論文 参考訳（メタデータ） (2026-06-01T20:56:24Z) - Training-Free Adaptation of Diffusion Models via Doob's $h$-Transform [37.05492050174751]
DOIT(Doob-Oriented Inference-time Transformation)は、トレーニング不要で計算効率のよい適応法である。
我々は,この輸送を実現するためにDoobの$h$-transformを利用し,拡散サンプリングプロセスに対する動的補正を誘導する。
本手法はサンプリング効率を保ちながら常に最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-02-18T05:44:19Z) - FAIL: Flow Matching Adversarial Imitation Learning for Image Generation [52.643484089126844]
フローマッチングモデルのポストトレーニング-高品質な目標値による出力分布の調整-数学的にはImitation Learningと等価である。
本研究では,明示的な報酬やペア比較を伴わずに,対人訓練による政策-専門的差異を最小限に抑えるフローマッチング・アドリアラーニング(FAIL)を提案する。
論文 参考訳（メタデータ） (2026-02-12T16:36:33Z) - GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。
Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。
GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。
これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
論文 参考訳（メタデータ） (2026-01-05T11:47:18Z) - Learn to Guide Your Diffusion Model [84.82855046749657]
本研究では,条件付き拡散モデルによる試料の品質向上手法について検討する。
誘導ウェイトは$omega_c,(s,t)$で、条件付き$c$、飾る時間$t$、飾る時間$s$の関数です。
我々は,モデルが報酬関数によって傾いた分布を目標にすることができるように,フレームワークを拡張して報酬付きサンプリングを行う。
論文 参考訳（メタデータ） (2025-10-01T12:21:48Z) - DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。
DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
論文 参考訳（メタデータ） (2025-09-19T16:09:33Z) - Diffusion Self-Weighted Guidance for Offline Reinforcement Learning [1.7614751781649955]
オフライン強化学習(RL)は、エージェントの歴史的観察を考慮すれば、最適なポリシーを$pi$で回復する。
実際には、$pi$はエージェントの振舞いポリシーの重み付けバージョンとしてモデル化され、エージェントの振舞いに対する批判として働く重み関数$w$を使用する。
D4RLの挑戦的環境における現状と同等の手法を用いて, 玩具のサンプルから自己重み付けガイダンス(SWG)が, 所望の分布からサンプルを生成することを示す。
論文 参考訳（メタデータ） (2025-05-23T20:03:36Z) - DREAM: Diffusion Rectification and Estimation-Adaptive Models [50.66535824749801]
DREAM(Diffusion Rectification and Estimation Adaptive Models)を提案する。
DREAMには2つのコンポーネントがある。DREAMは、サンプリングプロセスの反映のためにトレーニングを調整する拡散補正と、歪みに対する知覚のバランスをとる推定適応である。
論文 参考訳（メタデータ） (2023-11-30T21:44:39Z) - Bridging the Gap: Addressing Discrepancies in Diffusion Model Training
for Classifier-Free Guidance [1.6804613362826175]
拡散モデルは、生成モデルにおいて重要な進歩として現れている。
本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。
トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
論文 参考訳（メタデータ） (2023-11-02T02:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。