論文の概要: StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models

• arxiv url: http://arxiv.org/abs/2611.04386v1
• Date: Tue, 03 Nov 2026 06:16:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-10 00:59:41.348119
• Title: StepX-OPD: Rethinking Multi-Teacher On-Policy Distillation in Diffusion Models
• Title（参考訳）: StepX-OPD:拡散モデルにおけるマルチ教師のオンライン蒸留の再考
• Abstract要約: デプロイ可能なテキストとイメージの拡散モデルは、複数の機能を同時に保持する必要があります。 1人の生徒は、いくつかのステップでサンプルを学習しながら、すべての能力を取得します。 StepX-OPDは4段階法の中で最も高い正規化平均スコアを得る。
• 参考スコア（独自算出の注目度）: 25.001953560413753
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A deployable text-to-image diffusion model must hold several capabilities at once, such as instruction following, text rendering and human preference, and must sample in a few steps. Capabilities and few-step sampling are built in separate stages: a full-step model first consolidates capabilities through multi-teacher on-policy distillation, then serves as a fixed teacher for step distillation. Every full-step model we evaluate scores lower once compressed, and the second stage cannot begin until the first finishes. We introduce StepX-OPD, which merges the two stages: one student acquires every capability while learning to sample in a few steps, so frozen specialists supervise it on the states its own rollout visits rather than on a longer trajectory it never runs. Because a decomposition of the rollout's KL weights velocity mismatch most heavily near the clean end, we also regress the student's velocity on the low-noise part of the rollout. Separately, we find that capability integration makes models write prompt words into images on prompts that never asked for text, and we give a variant that lowers it. We evaluate on SD3.5-Medium and FLUX.1-dev across instruction following, text rendering, image quality and human preference. On both architectures, StepX-OPD attains the highest normalized average score among the four-step methods compared and exceeds the forty-step Flow-OPD model, and on SD3.5-Medium it trains with about 37% fewer GPU-hours than sequential DiffusionOPD followed by step distillation.
• Abstract（参考訳）: デプロイ可能なテキスト画像拡散モデルは、インストラクションフォロー、テキストレンダリング、人間の好みなど、複数の機能を同時に保持し、いくつかのステップでサンプリングする必要がある。 フルステップモデルでは、まず複数の教師によるオンライン蒸留を行い、次にステップ蒸留の固定教師として機能する。 評価した全てのフルステップモデルは、圧縮されると低得点となり、第2段階は第1段階が終了するまでは開始できない。 1人の学生がいくつかのステップでサンプルを採取しながらすべての能力を習得するので、凍結した専門家は、実行しない長い軌道ではなく、州でのロールアウト訪問を監督します。 ロールアウトのKLの分解は、クリーンエンドに近い速度ミスマッチを最も重くするので、ロールアウトの低騒音部分において、学生の速度を低下させる。 別途、機能統合によって、テキストを要求しなかったプロンプトで、モデルがプロンプトワードをイメージに書き込むことができることが分かり、それを下げる変種を与えます。 SD3.5-Medium と FLUX.1-dev について,以下の命令,テキストレンダリング,画像品質,人間の嗜好について検討した。 どちらのアーキテクチャでも、StepX-OPDは4ステップのFlow-OPDモデルよりも高い正規化平均スコアを獲得し、SD3.5-MediumではシーケンシャルDiffusionOPDよりも約37%少ないGPU時間でトレーニングを行い、その後にステップ蒸留を行った。

関連論文リスト

• A First-Step Bias Restores Lost Diversity in Diffusion Model Distillation [9.427725087581463]
  分散マッチング蒸留は、数ステップで高品質な画像生成を可能にする。 emphReSeedは、最初の学生ステップにのみシード応答バイアスアダプタを追加する、蒸留後の方法である。 競争力のある視覚的品質を維持しながら、DINOの多様性を48.3%向上させる。
  論文  参考訳（メタデータ） (2026-10-27T12:08:03Z)
• Simplifying and Improving On-Policy Distillation for Few-Step Diffusion [60.45650436067934]
  少ない段階の蒸留は拡散・流動モデルのサンプリングコストを低減させるが、既存の手法では補助的なスコアモデルや特殊なアーキテクチャを必要とすることが多い。 4-NFE生成の基盤として, 簡易なオン・ポリティクス速度回帰法がすでに有効であることを示す。 本稿では,学習者の区間平均予測から局所的な補正を分離する訓練専用残差プロキシであるPivotを紹介する。
  論文  参考訳（メタデータ） (2026-10-13T14:35:46Z)
• Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation [50.55853275866995]
  リアルタイムのインタラクティブなビデオ生成には、低レイテンシ、ストリーミング、コントロール可能なロールアウトが必要である。 本稿では,フレームワイドの自己回帰を1～2ステップのサンプリングで行うという,よりアグレッシブな設定について検討する。 原理的かつスケーラブルなパイプラインである textbfCausal Forcing++ を提案する。
  論文  参考訳（メタデータ） (2026-05-14T17:46:36Z)
• D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models [27.90064267850009]
  ステップ蒸留拡散モデルのための新しい訓練パラダイムであるD-OPSDを提案する。 D-OPSDにより、モデルは元の数ステップのキャパシティを犠牲にすることなく、新しい概念、スタイルなどを学ぶことができる。
  論文  参考訳（メタデータ） (2026-05-06T17:59:34Z)
• Transition Matching Distillation for Fast Video Generation [63.1049790376783]
  本稿では,ビデオ拡散モデルを効率の良い数ステップ生成器に蒸留するための新しいフレームワークであるTransition Matching Distillation (TMD)を提案する。 TMDは拡散モデルの多段階認知軌道と数段階の確率遷移過程とを一致させる。 TMDは、生成速度と視覚的品質の間の柔軟性と強力なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-01-14T21:30:03Z)
• Learning Few-Step Diffusion Models by Trajectory Distribution Matching [18.229753357571116]
  トラジェクティブ・ディストリビュータ・マッチング(TDM)は、トラジェクタ・マッチングとトラジェクタ・マッチングの強さを組み合わせた統合蒸留パラダイムである。 我々は,学習目標を異なるステップで分離し,より調整可能なサンプリングを可能にする,サンプリングステップ対応の目標を開発する。 我々のモデルであるTDMは、様々なバックボーン上で既存の手法よりも優れており、優れた品質を提供し、トレーニングコストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-03-09T15:53:49Z)
• Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator [81.81748032199813]
  拡散モデルは実世界の超解像(Real-ISR)に優れた性能を示した SRのための大規模textbfDiscriminator を用いた One-Step textbfDiffusion モデルを提案する。 我々の判別器は、潜伏空間における拡散モデルの任意の時間ステップからノイズのある特徴を抽出することができる。
  論文  参考訳（メタデータ） (2024-10-05T16:41:36Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。