論文の概要: Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2610.10990v1
• Date: Wed, 07 Oct 2026 23:24:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.698938
• Title: Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
• Title（参考訳）: Omni-Diffusion-Distill:Unified Multimodal Diffusion Large Language ModelのFew-Step Distillation
• Abstract要約: マルチモーダル大言語モデル(dLLM)は、画像生成とマルチモーダル理解の両方に単一のアーキテクチャを提供する。 既存の数段階の蒸留法は主に画像生成かテキスト生成に重点を置いている。 オムニ拡散蒸留(Omni-Diffusion-Distill)は, 強い生成能力と理解能力を保持する2段階蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 17.899222682605632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal diffusion large language models (dLLMs) offer a single architecture for both image generation and multimodal understanding, but their iterative decoding requires tens to hundreds of forward passes. Existing few-step distillation methods largely focus on either image generation or text generation, making it unclear how to compress a fully discrete multimodal dLLM into a single efficient student while preserving both generation and understanding. We introduce Omni-Diffusion-Distill, a unified two-stage distillation framework that retains strong generation and understanding capabilities while substantially reducing the inference cost of a unified multimodal dLLM. Omni-Diffusion-Distill aligns the distillation of both generation and understanding, for both images and text, in the discrete token space. In the first stage, the student is trained to skip decoding steps by replaying cached teacher trajectories, and in the second stage the student is refined on intermediate states along its own rollouts. We further remedy two sources of degradation in unified distillation with a pairwise collision penalty that reduces repetition under parallel text decoding, and entropy-matched guidance that prevents entropy collapse caused by fitting the sharpened teacher distribution in image generation. Omni-Diffusion-Distill achieves state-of-the-art trade-offs between decoding efficiency and generation and understanding performance for multimodal dLLMs, reducing image generation from 128 to 8 decoding steps and multimodal understanding from 512 to 64, giving 18.2x and 21.2x wall-clock speedups. Under these budgets, it scores 0.828 on GenEval and 83.0 on DPG-Bench for text-to-image generation, while reaching GPT judge scores of 20.0 on MM-Vet and 57.2 on COCO captioning (twice the teacher's 28.4 at the same steps) for multimodal understanding.
• Abstract（参考訳）: 統一マルチモーダル拡散大言語モデル(dLLM)は、画像生成とマルチモーダル理解の両方に単一のアーキテクチャを提供するが、反復復号には数十から数百の前方パスが必要である。 既存の数段階の蒸留法は主に画像生成かテキスト生成に重点を置いており、生成と理解の両面を保ちながら、完全に離散化されたマルチモーダルdLLMを1つの効率的な学生にどのように圧縮するかははっきりしない。 Omni-Diffusion-Distillは, マルチモーダルdLLMの推論コストを大幅に削減しつつ, 高い生成能力と理解能力を保った2段階蒸留フレームワークである。 Omni-Diffusion-Distillは、画像とテキストの両方に対する生成と理解の両方を離散トークン空間で蒸留する。 第1段階では、キャッシュされた教師軌跡を再生して復号ステップをスキップするように訓練され、第2段階では、生徒が自身のロールアウトに沿って中間状態に洗練される。 さらに, 並列テキスト復号法における繰り返しを減少させる対角衝突ペナルティと, 画像生成における教師分布の高度化によるエントロピー崩壊を防止するエントロピー整合誘導の2つの原因について検討した。 Omni-Diffusion-Distillは、マルチモーダルdLLMのデコード効率と生成と理解性能の間の最先端のトレードオフを実現し、128から8までのデコードステップと512から64までのマルチモーダル理解を削減し、18.2xと21.2xのウォールクロック高速化を実現している。 これらの予算の下では、GenEvalでは0.828点、DPG-Benchでは83.0点、MM-Vetでは20.0点、COCOキャプションでは57.2点、マルチモーダル理解では28.4点となっている。

関連論文リスト

• Two Halves are More than One: Phase-wise Velocity Distillation for Fast and High-Quality Image Generation [23.916269607539686]
  単一のフルバックボーンフォワード計算予算内での高品質な画像生成は依然として困難である。 生成タイムラインを粗大かつ微細な位相に分割する相速度蒸留(PVD)を提案する。 2つの位相特化専門家の使用は、1人のフルサイズのモノリシックな学生より優れていることを示す。
  論文  参考訳（メタデータ） (2026-10-06T10:03:30Z)
• FLAT: Resampling Image and Text into 1D Flexible-Length Aligned Transmodal Tokens for Retrieval and Generation [29.59094476146176]
  Flatは、共有マルチモーダルエンコーダと、下流のテキスト・トゥ・イメージ(T2I)と画像・トゥ・テキスト(I2T)デコーダを共同で最適化する、表現事前トレーニングフレームワークである。 単一の事前学習段階により、FLATは可変プレフィックスKをまたいでクロスモーダル検索および生成を行い、T2I GenEvalスコア71.1を達成する。
  論文  参考訳（メタデータ） (2026-09-15T03:35:59Z)
• TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
  TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。 LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。 完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-08-25T15:09:02Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• Few-Step Diffusion via Score identity Distillation [67.07985339442703]
  拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。