論文の概要: ROAD: Modern Adversarial Training for Simple One-Step Distillation at Scale

• arxiv url: http://arxiv.org/abs/2610.39539v1
• Date: Thu, 29 Oct 2026 07:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.474096
• Title: ROAD: Modern Adversarial Training for Simple One-Step Distillation at Scale
• Title（参考訳）: ROAD: 大規模単段蒸留のための近代的逆行訓練
• Abstract要約: 一段階の蒸留は、事前訓練された拡散モデルを高速発電機に変える。 Roadは、テキスト・ツー・イメージのモデルを1つの敵の目的と軽量な表現空間の批判で蒸留するワンステージフレームワークである。 SDXLで11.03 FID、COCO-10KでSD3.5-Mで13.73に到達し、分散マッチングのトレーニング計算で多段階の教師を上回った。
• 参考スコア（独自算出の注目度）: 28.09689389567392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-step distillation turns pretrained diffusion models into fast generators, but strong results often require substantial training machinery and compute. Pure adversarial distillation offers a simpler route, yet has struggled at modern text-to-image scale. To address this limitation, we propose ROAD (Representation-grounded One-step Adversarial Distillation), a one-stage framework that distills text-to-image models with one adversarial objective and a lightweight representation-space critic. First, we replace the classical convolutional head with a Lipschitz-controlled Transformer head with token-level text conditioning, which matches the semantic tokens of modern visual encoders. Second, we observed a fixed random feature mixing leads to long-horizon degradation. We attribute it to generator-critic co-adaptation around one realization-specific view, and periodically re-draw the mixing to keep the randomization effective. Third, for our dense and vector-valued logits, we introduce Jacobian R1 which penalizes the full input-logit Jacobian, overcoming pooled R1's limitation of neglecting most of logit sensitivities. A single adversarial objective then suffices: in one step, ROAD reaches 11.03 FID on SDXL and 13.73 on SD3.5-M on COCO-10K, surpassing the multi-step teachers at a fraction of distribution matching's training compute.
• Abstract（参考訳）: 1段階の蒸留は、事前訓練された拡散モデルを高速発電機に変えるが、強い結果を得るためには相当な訓練機械と計算が必要である。 純粋な反対蒸留はより単純な経路を提供するが、現代のテキスト・ツー・イメージの規模では苦労している。 この制限に対処するため, ROAD (Representation-grounded One-step Adversarial Distillation) を提案する。 まず、従来の畳み込みヘッドを、現代のビジュアルエンコーダのセマンティックトークンと一致するトークンレベルのテキストコンディショニングでリプシッツ制御されたトランスフォーマーヘッドに置き換える。 第2に、固定されたランダムな特徴混合が長期劣化を引き起こすことを観察した。 本研究では, 1 つの実現-特定視点の周囲に生成-批判的共適応を生じさせ, ランダム化を効果的に維持するために, 混合を定期的に再描画する。 第三に、高密度かつベクトル値のロジットに対しては、全入力論理ジャコビアンをペナル化するジャコビアン R1 を導入し、ロジット感性の大部分を無視するプールされたR1 の制限を克服する。 1つのステップで、ROADはSDXLで11.03 FID、COCO-10KでSD3.5-Mで13.73に到達し、分散マッチングのトレーニング計算のごく一部でマルチステップの教師を上回った。

関連論文リスト

• ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation [24.773587278828675]
  ViRDMは教師と批評家のいないポストトレーニングのレシピである。 3ネットワーク蒸留を発電機のみのポストトレーニングに変換する。 ジェネレータの更新はわずか20回で、公式のVBench評価では84.87回に達した。
  論文  参考訳（メタデータ） (2026-09-24T02:07:07Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• VARestorer: One-Step VAR Distillation for Real-World Image Super-Resolution [76.19751531910039]
  本稿では,事前学習したテキストから画像へのVARモデルを,ワンステップのISRモデルに変換するフレームワークであるVARestorerを提案する。 VARestorerは、DIV2Kデータセット上で72.32 MUSIQと0.7669 CLIPIQAで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-23T09:09:36Z)
• Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
  APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。 私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。 Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
  論文  参考訳（メタデータ） (2026-04-14T05:54:33Z)
• LinFusion: 1 GPU, 1 Minute, 16K Image [71.44735417472043]
  我々は,広く普及している線形トークンミキサーの低ランク近似を導入する。 蒸留したLinFusionは,元のSDと同等以上の性能を示す。 SD-v1.5、SD-v2.1、SD-XLの実験は、LinFusionが良好なゼロショットクロスレゾリューション生成を可能にすることを示した。
  論文  参考訳（メタデータ） (2024-09-03T17:54:39Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• ACT-Diffusion: Efficient Adversarial Consistency Training for One-step Diffusion Models [59.90959789767886]
  整合性トレーニング損失の最適化は,目標分布と生成分布とのワッサーシュタイン距離を最小化することを示す。 CIFAR10 と ImageNet 64$times$64 と LSUN Cat 256$times$256 データセットの FID スコアを改善する。
  論文  参考訳（メタデータ） (2023-11-23T16:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。