論文の概要: NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2611.05648v1
• Date: Tue, 03 Nov 2026 21:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.854393
• Title: NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
• Title（参考訳）: NitroFusion2:マルチモーダル拡散変換器のテキストストリームに逆損失をもたらす
• Abstract要約: Text-Stream Adversarial Distillation (TSAD)は、中間テキストの状態を新しい逆表現として活用する。 ACD(Aspect-Cued Discrimination)は、対向訓練において特性が強調されるステアである。 NitroFusion2は従来の4-8段階の蒸留を1-2段階に減らした。
• 参考スコア（独自算出の注目度）: 54.85926140120179
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial diffusion distillation has conventionally relied on image features for discrimination. We revisit this choice for multimodal diffusion transformers (MMDiTs), whose text stream becomes image-dependent through joint attention. We introduce Text-Stream Adversarial Distillation (TSAD), which exploits intermediate text-token states as a new adversarial representation. Because the text stream has already read the image while remaining tied to the text condition, changing that condition changes what information it extracts from the image. Building on this property, we introduce Aspect-Cued Discrimination (ACD), which conditions the discriminator on different aspects of the sample, such as typography, objects, or style, to steer which properties are emphasized during adversarial training. Building on the expert-discriminator design of NitroFusion, we integrate TSAD and ACD in NitroFusion2. NitroFusion2 brings few-step distillation from the conventional 4-8-step regime down to just 1-2 steps at comparable quality. At one step, it produces sharp rendered text and rich fine-grained details, making one-step generation practical rather than merely a stress test for distillation. At two steps, it remains competitive across the evaluated benchmarks. These results establish the MMDiT text stream as a powerful and steerable representation for adversarial diffusion distillation.
• Abstract（参考訳）: 逆拡散蒸留は従来, 画像の特徴を識別に頼ってきた。 我々は、この選択を、共同注意によってテキストストリームが画像依存となるマルチモーダル拡散変換器(MMDiT)について再考する。 本稿では,テキストストリームの中間状態を新たな逆数表現として活用するTSAD(Text-Stream Adversarial Distillation)を提案する。 テキストストリームは、テキスト条件に結びついているまま、既に画像を読み取っているため、その条件を変更して、画像から抽出した情報を変更する。 この特性に基づいてACD(Aspect-Cued Discrimination, ACD)を導入し, 対人訓練で強調される特性を判断するために, サンプルの異なる側面(タイポグラフィー, オブジェクト, スタイルなど)で識別器を条件付けする。 NitroFusionのエキスパート-差別化設計に基づいて、TSADとACDをNitroFusion2に統合する。 NitroFusion2は従来の4-8段階の蒸留を1-2段階に減らした。 一段目では、シャープな描画テキストと豊富な微細な細部を生産し、蒸留のストレステストというよりは、一段目の生成を実用的なものにしている。 2つのステップで、評価されたベンチマーク間で競争が続いている。 これらの結果から, MMDiTテキストストリームは, 逆拡散蒸留における強力かつ安定な表現として確立された。

関連論文リスト

• TIDE: Text-Informed Dynamic Extrapolation with Step-Aware Temperature Control for Diffusion Transformers [1.2927626330863309]
  ディフュージョントランスフォーマー(Diffusion Transformer, DiT)は、トレーニング解像度と比較して高解像度の画像を生成する際の課題である。 我々は、任意の解像度とアスペクト比で、追加のサンプリングオーバーヘッドを伴わずに生成できる、トレーニングフリーのテキスト・トゥ・イメージ(T2I)外挿法であるTIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-09T20:57:19Z)
• NOFT: Test-Time Noise Finetune via Information Bottleneck for Highly Correlated Asset Creation [70.96827354717459]
  拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)を生成する強力なツールを提供する。 本研究では,高相関・多彩な画像を生成するため,安定拡散を用いたノイズファインチューンNOFTモジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:09:47Z)
• Towards Understanding the Working Mechanism of Text-to-Image Diffusion Model [57.24046436423511]
  近年,高画質テキスト・トゥ・イメージ(T2I)生成に強力な遅延拡散確率モデル (DPM) が適用されている。 段階的デノナイジング生成過程における中間状態を調べることでDPMの背後にあるメカニズムを解明する。 本稿では,テキストガイダンスを適切に取り除き,T2I生成プロセスの高速化に本観測を適用した。
  論文  参考訳（メタデータ） (2024-05-24T08:12:41Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。