論文の概要: UDT: Reconciling U-Nets and Diffusion Transformers with Data-Adaptive Token Reduction

• arxiv url: http://arxiv.org/abs/2608.01298v1
• Date: Sun, 02 Aug 2026 15:07:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.152186
• Title: UDT: Reconciling U-Nets and Diffusion Transformers with Data-Adaptive Token Reduction
• Title（参考訳）: UDT: データ適応型トークン削減によるU-Netと拡散変換器の再構成
• Abstract要約: Diffusion Transformer (DiT) は、生成モデリングのコアアーキテクチャとして登場した。 本稿では,DiTの表現能力とU-Netの符号化・復号化の利点を組み合わせたU-Net拡散変換器UDTを提案する。
• 参考スコア（独自算出の注目度）: 4.511561231517167
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion Transformers (DiTs) have emerged as a core architecture in generative modeling due to their scalability and adaptability to multimodal tasks. DiTs comprise isotropic transformer blocks, and learn representations progressively across depth, where the denoising objective drives later layers to focus on fine-detail reconstruction. This results in degraded representation quality and an imbalanced encoder-decoder behavior. Prior approaches such as representation alignment (REPA) mitigate this by encouraging stronger early representations via training regularization. Alternatively, U-Net-style DiT architectures introduce explicit multi-scale encoder-decoder structures for improved convergence. But they build on standard U-Net wisdom via learnable operators for spatial downsampling, which are not well-suited to transformer architectures, introducing inefficiencies and compatibility issues with components such as cross-attention and representation regularization. In this work, we propose UDT, a U-Net diffusion transformer that combines the representation power of DiTs with the encoding-decoding benefits of U-Nets, through data-adaptive token merging for downsampling and upsampling, while preserving the DiT token dimension. Our baseline UDT architecture outperforms existing U-Net DiTs and achieves performance comparable to REPA across all model sizes. Furthermore, using architectural optimization and REPA, UDT outperforms SiT's 7.9 FID at 1400 epochs (w/o CFG) within 40 epochs (~ 40x faster convergence) for XL model size on 256x256 ImageNet. Finally, it achieves strong image generation performance with CFG, reaching FID of 1.38 (320 epochs) with SD-VAE and 1.35 (500 epochs) with VA-VAE, providing a new backbone for DiTs with strong empirical benefits.
• Abstract（参考訳）: Diffusion Transformer (DiT) は、マルチモーダルタスクへのスケーラビリティと適応性のために、生成モデリングのコアアーキテクチャとして登場した。 DiTは等方的トランスフォーマーブロックで構成され、深度にわたって徐々に表現を学習する。 これにより、劣化した表現品質とアンバランスなエンコーダ・デコーダの動作が得られる。 表現アライメント(REPA)のような従来のアプローチは、トレーニングの正規化を通じて、より強力な初期表現を奨励することによって、これを緩和する。 あるいは、U-NetスタイルのDiTアーキテクチャは、収束性を改善するために、明示的なマルチスケールエンコーダデコーダ構造を導入している。 しかし、彼らは空間ダウンサンプリングのための学習可能な演算子を通して標準的なU-Net知恵を構築し、これはトランスフォーマーアーキテクチャには適さないもので、クロスアテンションや表現正規化といったコンポーネントに非効率性や互換性の問題をもたらす。 本研究では,DiT の表現力と U-Net の符号化・復号化の利点を結合した U-Net 拡散変換器 UDT を提案する。 我々のベースライン UDT アーキテクチャは既存の U-Net DiT よりも優れており、すべてのモデルサイズでREPA に匹敵する性能を実現しています。 さらに、アーキテクチャ最適化とREPAを使用して、UDTは256x256 ImageNet上のXLモデルサイズに対して、40エポック(約40倍高速収束)でSiTの7.9 FIDを1400エポック(w/o CFG)で上回っている。 最後に、CFGで強力な画像生成性能を実現し、SD-VAEで1.38 (320 epochs)、VA-VAEで1.35 (500 epochs)のFIDに達し、強力な経験的メリットを持つDiTのための新しいバックボーンを提供する。

関連論文リスト

• MPDiT: Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model [6.401952350014671]
  拡散変換器(DiT)は拡散および流れマッチングモデルに広く用いられている。 DiTは同じ数のパッチ付きトークンを各ブロックで処理し、トレーニングプロセス中に比較的重い計算を行う。 マルチパッチトランスフォーマーの設計では、初期ブロックが大きめのパッチで動作し、粗いグローバルコンテキストをキャプチャし、後続ブロックはより小さなパッチを使用して局所的な詳細を精査する。
  論文  参考訳（メタデータ） (2026-03-27T12:30:10Z)
• Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders [74.72147962028265]
  表現オートエンコーダ(RAE)は、ImageNet上で拡散モデリングにおいて明確な利点を示している。 本稿では,このフレームワークが大規模でフリーフォームなテキスト・ツー・イメージ(T2I)生成に拡張できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-01-22T18:58:16Z)
• Diffusion Transformers with Representation Autoencoders [35.43400861279246]
  事前学習された自己エンコーダが拡散過程の遅延空間に画素をマッピングする潜在生成モデリングは拡散変換器(DiT)の標準戦略となっている。 ほとんどのDiTはオリジナルのVAEエンコーダに依存しており、いくつかの制限が課されている。 本研究では、VAEをトレーニングされたデコーダと組み合わせた事前訓練された表現エンコーダに置き換え、Representation Autoencoders (RAE) と呼ぶものを形成する。
  論文  参考訳（メタデータ） (2025-10-13T17:51:39Z)
• DDT: Decoupled Diffusion Transformer [51.84206763079382]
  拡散変換器はノイズの多い入力を符号化し、意味成分を抽出し、同じモジュールで高い周波数をデコードする。 textbfcolorddtDecoupled textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT)
  論文  参考訳（メタデータ） (2025-04-08T07:17:45Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• U-DiTs: Downsample Tokens in U-Shaped Diffusion Transformers [28.936553798624136]
  本論文では,U-DiTモデルの性能を示すために,一連のU-DiT(U-DiTs)を提案する。 提案されたU-DiTはコスト計算の1/6でDiT-XL/2を上回った。
  論文  参考訳（メタデータ） (2024-05-04T18:27:29Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• AICT: An Adaptive Image Compression Transformer [18.05997169440533]
  我々は、より単純で効果的なTranformerベースのチャネルワイド自動回帰事前モデルを提案し、絶対画像圧縮変換器(ICT)を実現する。 提案したICTは、潜在表現からグローバルとローカルの両方のコンテキストをキャプチャできる。 我々は、サンドイッチのConvNeXtベースのプリ/ポストプロセッサで学習可能なスケーリングモジュールを活用し、よりコンパクトな潜在表現を正確に抽出する。
  論文  参考訳（メタデータ） (2023-07-12T11:32:02Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。