論文の概要: MoDDiT: Simple Token Routing in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.28086v1
• Date: Tue, 20 Oct 2026 12:05:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.798315
• Title: MoDDiT: Simple Token Routing in Diffusion Transformers
• Title（参考訳）: MoDDiT:拡散変圧器の簡単なトーケンルーティング
• Abstract要約: 拡散変換器(DiT)は優れたサンプル品質を実現し、ボトルネックをモデル自体のスループットにシフトさせる。 自然画像は、画像の大部分が背景であり、シーンの内容にはほとんど寄与せず、軽視しやすいため、本質的には疎外である。 トークンと自己注意操作の両方を通じてトークンをルーティングする方法を学習する,シンプルなアーキテクチャ修正であるMODDiTを提案する。
• 参考スコア（独自算出の注目度）: 33.78496978261997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time video generation, interactive world models, and on-device image synthesis are almost a reality. Diffusion Transformers (DiT) achieve excellent sample quality, shifting the bottleneck to the throughput of the models themselves. Natural images are inherently sparse, as large portions of an image are often background, contribute little to the scene content, and are easy to denoise. DiTs fail to exploit this sparsity, as they process image tokens statically and uniformly. We propose MoDDiT, a simple architecture modification that learns to route tokens through both MLP and self-attention operations. By routing tokens through both blocks independently, MoDDiT allows for dynamic compute allocation in MLPs that varies across tokens, images, and denoising timesteps. Using MoDDiT to train image generation models from scratch significantly reduces computational costs of training and inference, processing as few as 12.5% of the tokens. By increasing sparsity and model depth, MoDDiT reduces costs and improves generation performance over unrouted baselines. The learned allocation is interpretable, revealing how computation varies with visual content and noise level. We also use MoDDiT to train video generation models, where allocation correlates with motion, and to distill a dense bidirectional video model into a sparse autoregressive student.
• Abstract（参考訳）: リアルタイムビデオ生成、インタラクティブな世界モデル、デバイス上での画像合成はほぼ現実的だ。 拡散変換器(DiT)は優れたサンプル品質を実現し、ボトルネックをモデル自体のスループットにシフトさせる。 自然画像は、画像の大部分が背景であり、シーンの内容にはほとんど寄与せず、軽視しやすいため、本質的には疎外である。 DiTは画像トークンを静的かつ均一に処理するため、この空間を利用できない。 MLPと自己注意操作の両方を通してトークンをルーティングする簡単なアーキテクチャ修正であるMODDiTを提案する。 トークンを両方のブロックに個別にルーティングすることで、MoDDiTはトークン、イメージ、およびデノナイズタイムステップにまたがるMDPの動的計算割り当てを可能にする。 MoDDiTを使用して画像生成モデルをスクラッチからトレーニングすることで、トレーニングと推論の計算コストを大幅に削減し、トークンの12.5%を処理できる。 疎度とモデル深度を増大させることで、MoDDiTはコストを削減し、未使用のベースラインよりも生成性能を向上させる。 学習したアロケーションは解釈可能で、計算が視覚的内容やノイズレベルによってどのように変化するかを明らかにする。 また、MODDiTを用いて動画生成モデルのトレーニングを行い、その配置は動きと相関し、高密度な双方向ビデオモデルをスパース自己回帰学習生に蒸留する。

関連論文リスト

• Accelerating Masked Image Generation by Learning Latent Controlled Dynamics [43.797476038568846]
  Masked Image Generation Models (MIGM) は大きな成功を収めたが、その効率性は双方向の注意の複数のステップによって妨げられている。 我々は、以前の特徴とサンプルトークンの両方を組み込んだ軽量モデルを学び、特徴進化の平均速度場を後退させる。
  論文  参考訳（メタデータ） (2026-02-27T13:16:58Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Representation Entanglement for Generation: Training Diffusion Transformers Is Much Easier Than You Think [63.25744258438214]
  REPAとその変種は、事前訓練されたモデルから外部の視覚表現を取り入れることで、拡散モデルのトレーニング課題を効果的に軽減する。 偏見推論過程全体において欠落している外部アライメントは、識別的表現の可能性を完全に活用するに足らないと我々は主張する。 本稿では,事前学習した基礎モデルから,低レベル画像ラテントを1つの高レベルクラストークンで絡み合わせるRepresentation Entanglement for Generation (REG)を提案する。
  論文  参考訳（メタデータ） (2025-07-02T08:29:18Z)
• Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
  Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。 我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。 GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
  論文  参考訳（メタデータ） (2025-04-24T17:59:56Z)
• DART: Denoising Autoregressive Transformer for Scalable Text-to-Image Generation [46.5013105017258]
  拡散モデルは、徐々に入力にノイズを加えるマルコフ過程を認知することによって訓練される。 自動回帰(AR)と拡散を非マルコフフレームワーク内で統一するトランスフォーマーモデルであるDARTを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:41:54Z)
• Bridging The Gaps Between Token Pruning and Full Pre-training via Masked Fine-tuning [19.391064062033436]
  動的視覚変換器はトークンを冗長にプルーニングすることで推論を加速するために使用される。 現在のベースモデルは、通常フルイメージトレーニングを採用し、フルイメージを入力として使用し、フィーチャーマップ全体をフォワードプロセスを通して保持する。 マスクと自己教師付きタスクを行うMAEにインスパイアされた我々は、事前訓練されたベースモデルとトークンプルーニングに基づく動的視覚変換器のギャップを埋めるために、マスク付き微調整を考案した。
  論文  参考訳（メタデータ） (2023-10-26T06:03:18Z)
• Unmasked Teacher: Towards Training-Efficient Video Foundation Models [50.19560876891811]
  ビデオファウンデーションモデル(VFM)は、高い計算コストとデータ不足のため、限られた探索を受けている。 本稿では,既存の手法の利点を生かした時間感応型VFMの訓練効率向上手法を提案する。 我々のモデルは、シーン関連、時間関連、複雑なビデオ言語理解を含む様々なタスクを処理できる。
  論文  参考訳（メタデータ） (2023-03-28T15:39:28Z)
• VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling [88.30109041658618]
  ビデオ言語(VidL)モデリングにおける大きな課題は、画像/映像理解モデルから抽出された固定されたビデオ表現と、下流のVidLデータとの切り離しにある。 我々は、ビデオ入力の時間的ダイナミクスを明示的にモデル化するビデオトランスを採用した、完全なエンドツーエンドVIdeO-LanguagE変換器であるVIOLETを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。