論文の概要: GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models
- arxiv url: http://arxiv.org/abs/2610.15856v1
- Date: Sun, 11 Oct 2026 19:23:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 15:35:51.73015
- Title: GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models
- Title（参考訳）: 誘導NFT:NFTに基づく誘導拡散モデルの逆微調整
- Abstract要約: タスク固有報酬に対する拡散NFT微細構造拡散モデル
CFGを微調整速度場に適用することで、最適化された報酬を減らすことができる。
ガイド付きサンプル上でのオンラインフローマッチングによる参照速度の一致を推定する GuidanceNFT を提案する。
- 参考スコア（独自算出の注目度）: 8.123223803482214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: DiffusionNFT (NFT) fine-tunes diffusion models toward task-specific rewards, but optimizing these rewards does not guarantee fidelity to the full prompt. Although classifier-free guidance (CFG) strengthens prompt alignment, NFT is formulated as a CFG-free method, and applying CFG to the fine-tuned velocity field can reduce the optimized reward. This motivates optimizing rewards over the guided output distribution while seeking to retain its prompt alignment. However, applying standard NFT directly to guided samples can cause reward degradation or training collapse. We trace this failure to a mismatch between the reference velocity used in the NFT loss and the score of the guided sample distribution, which biases the improvement direction. We propose GuidanceNFT, which estimates the matching reference velocity through online flow matching on guided samples and uses it to correct both regression terms. With an exact reference, the corrected objective recovers NFT's intended update. In our experiments, the learned correction sustains reward improvement under both explicit and built-in guidance. On SD3.5-M, GuidanceNFT achieves higher optimized rewards than NFT with and without CFG across GenEval, text-rendering, and multi-reward objectives, together with better overall prompt alignment as measured by off-domain evaluation metrics. Experiments on models with built-in guidance, including Model Guidance and ELF, further demonstrate improved ImageNet generation, a better perplexity-entropy tradeoff on OpenWebText, and higher accuracy on GSM8K.
- Abstract（参考訳）: DiffusionNFT (NFT) はタスク固有の報酬に対する細粒度拡散モデルであるが、これらの報酬を最適化することは完全なプロンプトに対する忠実さを保証するものではない。
分類器フリーガイダンス (CFG) はプロンプトアライメントを強化するが, NFT はCFGフリー法として定式化され, CFG を微調整速度場に適用することで最適化された報酬を低減することができる。
これにより、誘導出力分布に対する報酬の最適化をモチベーションとし、迅速なアライメントを維持する。
しかしながら、標準NFTをガイドされたサンプルに直接適用すると、報酬の劣化やトレーニングの崩壊を引き起こす可能性がある。
我々は,NFT損失における基準速度と,改善方向の偏りを示すサンプル分布のスコアとのミスマッチに追従する。
本稿では,ガイド付きサンプルのオンラインフローマッチングによる参照速度の一致を推定し,両方の回帰項を補正するGuidanceNFTを提案する。
正確な参照で、修正された目的はNFTの意図した更新を回復する。
実験では、学習した補正は、明示的ガイダンスと組込みガイダンスの両方で報酬改善を維持できる。
SD3.5-Mでは、GuidanceNFTは、GenEval、テキストレンダリング、マルチリワードの目的にまたがるCFGを伴い、NFTよりも高い最適化された報酬を達成するとともに、オフドメイン評価指標によって測定された全体的な即時アライメントも向上する。
Model GuidanceやELFなどのモデルでの実験では、ImageNet生成の改善、OpenWebTextでのパープレキシティとエントロピーのトレードオフの改善、GSM8Kでの精度の向上が示されている。
関連論文リスト
- VideoAWR: Reinforcing Video Flow Models with Decoupled-Timestep Advantage-Weighted Rectification [9.064702495472275]
emphDecoupled Timestep Rectificationを導入し、各ロールアウトを独立にサンプリングした時間ステップで監視し、サンプル効率を向上させる。
Wan2.1-1.3B と 14B の実験では、Emphboth CFG-free と CFG- able regime の安定な最適化と優れた視覚および運動品質が示されている。
論文 参考訳（メタデータ） (2026-10-09T10:11:04Z) - Online Self-Weighted Fine-Tuning [13.544097764061886]
強化学習(RL)に基づく手法は,モデル生成ロールアウトを用いて更新強度を適応する。
オンライントラジェクトリレベルの重み付けによりSFTを増強する簡単な方法である textbfOnline Self-Weighted Fine-Tuning (OSW-FT) を提案する。
OSW-FTは小さなスケールモデルではSFTよりも一貫して改善されている。
論文 参考訳（メタデータ） (2026-09-01T05:12:45Z) - Information-Theoretic Classifier-Free Guidance with Adaptive Schedule Optimization [15.35957804795103]
拡散モデルは、画像、テキスト・ツー・イメージ、ビデオ生成において高いパフォーマンスを達成している。
CFGスケジュール最適化のための情報理論フレームワークを提案する。
ImageNet-512、EDM-XXL、COCO、SD-XLでは、学習スケジュールは一定のガイダンスよりも競争力や改善されたトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-23T00:04:04Z) - SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models [48.335262141752715]
拡散モデルのための後トレーニングパイプラインには、キュレートされたデータに対する教師付き微調整(SFT)と報酬モデルによる強化学習(RL)の2段階がある。
本稿では,このギャップを埋めるバイアス補正ポストトレーニング法であるSOAR(Self-Correction for Optimal Alignment and Refinement)を提案する。
オンライン政治であり、報酬なしであり、クレジット割り当ての問題なく、時間ごとの密集した監督を提供する。
論文 参考訳（メタデータ） (2026-04-14T11:45:15Z) - SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。
本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。
このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
論文 参考訳（メタデータ） (2026-02-07T09:39:21Z) - Gradual Fine-Tuning for Flow Matching Models [5.549222664526887]
Gradual Fine-Tuning (GFT) は、フローベース生成モデルを微調整するための原則的なフレームワークである。
流れについて、GFTは、事前訓練されたドリフトと目標ドリフトの間を円滑に介在する中間目標の温度制御配列を定義している。
GFTは収束安定性を改善し、確率パスを短縮し、推論を高速化し、標準の微調整に匹敵する生成品質を維持する。
論文 参考訳（メタデータ） (2026-01-30T03:07:47Z) - GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。
Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。
GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。
これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
論文 参考訳（メタデータ） (2026-01-05T11:47:18Z) - DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。
DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
論文 参考訳（メタデータ） (2025-09-19T16:09:33Z) - Beyond the Proxy: Trajectory-Distilled Guidance for Offline GFlowNet Training [36.64849664688883]
Trajectory-Distilled GFlowNet(TD-GFN)は、新しいプロキシフリートレーニングフレームワークである。
逆強化学習を通じて、オフライン軌道から高密度で遷移レベルなエッジ報酬を学習する。
コンバージェンス速度と最終サンプル品質の両方において、既存のベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2025-05-26T15:12:22Z) - Learning GFlowNets from partial episodes for improved convergence and
stability [56.99229746004125]
生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。
GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。
強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
論文 参考訳（メタデータ） (2022-09-26T15:44:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。