論文の概要: On-Policy Self-Distillation in Diffusion Models

• arxiv url: http://arxiv.org/abs/2608.24646v1
• Date: Tue, 25 Aug 2026 14:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.050525
• Title: On-Policy Self-Distillation in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるオンライン自己蒸留
• Abstract要約: 強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
• 参考スコア（独自算出の注目度）: 89.32656931795293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning can align diffusion models with human preferences and task-specific objectives, but endpoint rewards do not specify how an intermediate denoising prediction should change. We introduce DiffusionOPSD as an on-policy self-distillation framework that converts image-level reward guidance into explicit targets for clean-output predictions at sampled queries. At each outer iteration, a frozen behavior policy generates trajectories and supplies query states and anchors. Reward gradients construct bounded positive and negative targets around each anchor. The trainable policy fits these targets as detached supervision through finite fitting before an exponential moving average update refreshes the behavior policy. This setup lets us measure target construction and finite realization separately. Controlled same-query experiments show that larger target-construction gains do not necessarily translate into larger realized gains after a single fitting update. Across SD 3.5-M and the step-distilled Z-Image-Turbo, our approach achieves the best final held-out scores in 19 of 20 reward-matched settings across two backbones and ten evaluators. It outperforms the strongest competing method by up to 44.0% and reduces training GPU-hours relative to DiffusionNFT by 40% on SD 3.5-M and 63% on Z-Image-Turbo. These results support on-policy self-distillation as an efficient and analyzable approach to diffusion post-training by converting image-level reward guidance into explicit and continually refreshed intermediate supervision, thereby opening a path toward more efficient and diagnosable alignment.
• Abstract（参考訳）: 強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 我々は,DiffusionOPSDを,画像レベルの報酬誘導を明示的なターゲットに変換して,サンプルクエリにおけるクリーンアウトプット予測を行う,オンライン自己蒸留フレームワークとして導入する。 各外部イテレーションでは、凍結した動作ポリシーがトラジェクトリを生成し、クエリ状態とアンカーを供給する。 逆勾配は各アンカーの周りの有界正と負の目標を構成する。 トレーニング可能なポリシーは、指数的な移動平均更新によって行動ポリシーが更新される前に、有限のフィッティングを通じて、これらのターゲットを分離された監視対象として適合する。 この設定により、ターゲットの構成と有限実現を別々に測定できる。 制御された同一クエリ実験により、目標構成ゲインが大きいと、単一のフィッティング更新後の大きな実効ゲインに必ずしも変換されないことが示された。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。 最大44.0%で最強の競合手法を上回り、DiffusionNFTと比較して、SD 3.5-Mで40%、Z-Image-Turboで63%のトレーニングGPU時間を短縮する。 これらの結果は、画像レベルの報酬指導を明示的かつ継続的にリフレッシュされた中間管理に変換し、より効率的で診断可能なアライメントへの道を開くことにより、拡散後トレーニングの効率的かつ分析可能なアプローチとして、オンデマンド自己蒸留を支援する。

関連論文リスト

• I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization [5.536267204193318]
  グループ相対ポリシー最適化は、ロールアウトグループ内の報酬差から学習するが、サンプリングされた応答が正しくない場合に有用な相対信号を受け取らない。 原始的な自己蒸留は、密集したトークンの監督によってこのギャップを埋めることができますが、トレーニングを通じて適用することで、異なる障害モードを生成します。 I-SDPO (Instance-Level Adaptive Self-Distillation Policy Optimization) を導入する。
  論文  参考訳（メタデータ） (2026-08-13T08:37:24Z)
• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
  我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。 報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。 textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
  論文  参考訳（メタデータ） (2026-08-06T14:55:42Z)
• Physics-Guided Policy Optimization with Self-Distillation [13.212487988108592]
  自己蒸留政策最適化(SDPO)はLLMポストトレーニングの一般的なパラダイムとなっている。 本稿では,情報変調ステップサイズ乗算器であるPGPOを提案する。 この変調は、バニラSGDのオーダー-1弱近似保証を保ち、反復毎に無視できないオーバーヘッドを生じさせることを示す。
  論文  参考訳（メタデータ） (2026-06-02T13:20:39Z)
• Flow-OPD: On-Policy Distillation for Flow Matching Models [42.290892456464896]
  Flow-OPDは、オンライン蒸留をFlow Matchingモデルに統合するポストトレーニングフレームワークである。 これはGenEvalのスコアを63から92に引き上げ、OCRの精度を59から94に引き上げ、バニラGRPOよりも10点程度向上した。 これらの結果は、汎用的なテキスト-画像モデルを構築するためのスケーラブルなアライメントパラダイムとして、Flow-OPDを確立する。
  論文  参考訳（メタデータ） (2026-05-08T17:50:15Z)
• MARBLE: Multi-Aspect Reward Balance for Diffusion RL [71.6241143519038]
  強化学習は、拡散モデルと人間の嗜好を整合させる主要なアプローチとなっている。 既存のプラクティスは、報酬ごとに1つのスペシャリストモデルをトレーニングすることで、複数の報酬を処理します。 我々は,各報酬に対する独立な優位推定器を維持する勾配空間最適化フレームワークMARBLEを提案する。
  論文  参考訳（メタデータ） (2026-05-07T16:20:42Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Beyond Imitation: Reinforcement Learning Fine-Tuning for Adaptive Diffusion Navigation Policies [31.52910494173408]
  拡散に基づくロボットナビゲーションポリシーは、ロボットの視覚的観察から直接マルチモーダルな軌道を生成することができる。 拡散型ナビゲーションに適した強化学習フレームワークを提案する。 提案手法は, 衝突頻度を低減しつつ, 52.0%から58.7%, SPLを0.49から0.54に改善する。
  論文  参考訳（メタデータ） (2026-03-13T10:14:32Z)
• Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design [45.80068602880684]
  本稿では,政策段階の目標,可能性推定器,ロールアウトサンプリングスキームの3つの要因を解消し,RL設計空間を体系的に解析する。 最終生成標本からのみ計算されるエビデンス低境界モデル推定器(ELBO)を採用することが,有効,効率的,安定なRL最適化を実現する主要な要因であることを示す。
  論文  参考訳（メタデータ） (2026-02-04T15:36:42Z)
• DiffusionNFT: Online Diffusion Reinforcement with Forward Process [99.94852379720153]
  Diffusion Negative-aware FineTuning (DiffusionNFT) は、フローマッチングを通じて前方プロセス上で直接拡散モデルを最適化する新しいオンラインRLパラダイムである。 DiffusionNFTは、CFGフリーのFlowGRPOよりも25倍効率が高い。
  論文  参考訳（メタデータ） (2025-09-19T16:09:33Z)
• Manifold-Aware Self-Training for Unsupervised Domain Adaptation on Regressing 6D Object Pose [69.14556386954325]
  視覚的回帰における合成データと実データとのドメインギャップは,グローバルな特徴アライメントと局所的な改善によって橋渡しされる。 提案手法は明示的な自己教師付き多様体正規化を取り入れ,領域間の一貫した累積的対象依存性を明らかにする。 暗黙的ニューラルファンクションを学習して、最も近いクラスビンへの相対的な方向と目標の距離を推定し、ターゲット分類予測を洗練することを目的としている。
  論文  参考訳（メタデータ） (2023-05-18T08:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。