論文の概要: DiCo: Revitalizing ConvNets for Scalable and Efficient Diffusion Modeling

• arxiv url: http://arxiv.org/abs/2505.11196v2
• Date: Mon, 22 Sep 2025 11:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:45.054865
• Title: DiCo: Revitalizing ConvNets for Scalable and Efficient Diffusion Modeling
• Title（参考訳）: DiCo: スケーラブルで効率的な拡散モデリングのためのConvNetの活性化
• Authors: Yuang Ai, Qihang Fan, Xuefeng Hu, Zhenheng Yang, Ran He, Huaibo Huang,
• Abstract要約: Diffusion Transformer (DiT) は、視覚生成のための有望な拡散モデルであるが、計算オーバーヘッドが大きい。 我々は、効率的かつ表現力のある拡散モデルを構築するための代替ビルディングブロックとして、畳み込みを再考する。 DiCo-XLは256x256のFIDと512x512のFID、2.7xと3.1xのスピードアップをそれぞれDiT-XL/2で達成している。
• 参考スコア（独自算出の注目度）: 41.128461167768805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformer (DiT), a promising diffusion model for visual generation, demonstrates impressive performance but incurs significant computational overhead. Intriguingly, analysis of pre-trained DiT models reveals that global self-attention is often redundant, predominantly capturing local patterns-highlighting the potential for more efficient alternatives. In this paper, we revisit convolution as an alternative building block for constructing efficient and expressive diffusion models. However, naively replacing self-attention with convolution typically results in degraded performance. Our investigations attribute this performance gap to the higher channel redundancy in ConvNets compared to Transformers. To resolve this, we introduce a compact channel attention mechanism that promotes the activation of more diverse channels, thereby enhancing feature diversity. This leads to Diffusion ConvNet (DiCo), a family of diffusion models built entirely from standard ConvNet modules, offering strong generative performance with significant efficiency gains. On class-conditional ImageNet generation benchmarks, DiCo-XL achieves an FID of 2.05 at 256x256 resolution and 2.53 at 512x512, with a 2.7x and 3.1x speedup over DiT-XL/2, respectively. Furthermore, experimental results on MS-COCO demonstrate that the purely convolutional DiCo exhibits strong potential for text-to-image generation. Code: https://github.com/shallowdream204/DiCo.
• Abstract（参考訳）: Diffusion Transformer (DiT)は、視覚生成のための有望な拡散モデルである。 興味深いことに、事前訓練されたDiTモデルの解析は、グローバルな自己注意がしばしば冗長であることを示し、主に局所的なパターンを捉え、より効率的な代替案の可能性を強調している。 本稿では,効率的かつ表現力のある拡散モデルを構築するための代替ビルディングブロックとして,畳み込みを再考する。 しかしながら、自己意識を畳み込みに置き換えることで、一般的にパフォーマンスが低下する。 本研究は, トランスフォーマーと比較して, ConvNets のチャネル冗長性が高いことに起因する。 これを解決するために,より多様なチャネルの活性化を促進し,特徴量の増大を図った,コンパクトなチャネルアテンション機構を導入する。 Diffusion ConvNet (DiCo)は標準のConvNetモジュールから完全に構築された拡散モデルのファミリーであり、優れた生成性能と大幅な効率向上を提供する。 クラス条件の ImageNet 生成ベンチマークでは、DiCo-XL は 256x256 で 2.05 の FID を、512x512 で 2.53 の FID を達成し、それぞれ DiT-XL/2 上で 2.7x と 3.1x のスピードアップを達成している。 さらに、MS-COCOの実験結果から、純粋な畳み込み型DiCoはテキスト・画像生成に強い可能性を示すことが示された。 コード:https://github.com/shallowdream204/DiCo。

関連論文リスト

• DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation [93.6273078684831]
  より効率的な画素拡散パラダイムを追求するために,周波数デカップリング方式の画素拡散フレームワークを提案する。 高速・低周波成分の生成を分離する直感によって, セマンティックガイダンスに基づく高周波細部を生成するために, 軽量画素デコーダを利用する。 実験の結果,DeCoは1.62 (256x256) と2.22 (512x512) の FID を実現した。
  論文  参考訳（メタデータ） (2025-11-24T17:59:06Z)
• Reconstruction vs. Generation: Taming Optimization Dilemma in Latent Diffusion Models [33.519892081718716]
  本稿では,視覚トークン化器のトレーニングにおいて,潜在空間と事前学習された視覚基盤モデルとの整合性を提案する。 提案するVA-VAEは遅延拡散モデルの再構成世代フロンティアを著しく拡張する。 私たちは、LightningDiTと呼ばれるトレーニング戦略とアーキテクチャ設計を改善した拡張DiTベースラインを構築します。
  論文  参考訳（メタデータ） (2025-01-02T18:59:40Z)
• DiC: Rethinking Conv3x3 Designs in Diffusion Models [19.902725825796836]
  拡散モデルは視覚生成タスクにおいて例外的な性能を示した。 近年のモデルは、従来のU字型CNN-Attentionハイブリッド構造から、完全にトランスフォーマーベースの等方的アーキテクチャへと移行している。 3x3畳み込みを用いたスケールアップ純粋畳み込み拡散モデルを構築した。
  論文  参考訳（メタデータ） (2024-12-31T19:00:01Z)
• Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
  CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。 CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。 CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
  論文  参考訳（メタデータ） (2024-11-26T15:13:15Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization [26.926712014346432]
  本稿では,新しいマルチレゾリューションネットワークと時間依存層正規化を統合することで,拡散モデルの革新的拡張を提案する。 提案手法の有効性は,ImageNet 256 x 256で1.70,ImageNet 512 x 512で2.89の新しい最先端FIDスコアを設定することで,クラス条件のImageNet生成ベンチマークで実証される。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• DiG: Scalable and Efficient Diffusion Models with Gated Linear Attention [82.24166963631949]
  Diffusion Gated Linear Attention Transformers (DiG) は、最小限のパラメータオーバーヘッドを持つ単純で適用可能なソリューションである。 より優れた効率性と競争効率を示す、平易なU字型アーキテクチャの2つのバリエーションを提供する。
  論文  参考訳（メタデータ） (2024-05-28T17:59:33Z)
• TerDiT: Ternary Diffusion Models with Transformers [88.03738506648291]
  TerDiTは、低ビット拡散変圧器モデルのための最初の量子化対応トレーニングスキームである。 モデルサイズは600Mから4.2B、画像解像度は256$times$256から512$times$512である。
  論文  参考訳（メタデータ） (2024-05-23T17:57:24Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• KOALA: Empirical Lessons Toward Memory-Efficient and Fast Diffusion Models for Text-to-Image Synthesis [52.42320594388199]
  効率的なテキスト・ツー・イメージ・モデルを構築する上で重要なプラクティスを3つ提示する。 これらの結果に基づき、KOALA-Turbo &-Lightningと呼ばれる2種類の効率的なテキスト・画像モデルを構築した。 SDXLとは異なり、私たちのKOALAモデルは8GBのVRAM(3060Ti)を持つコンシューマグレードGPU上で1024pxの高解像度画像を生成することができる。
  論文  参考訳（メタデータ） (2023-12-07T02:46:18Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention [0.2538209532048866]
  本稿では,拡張畳み込み,マルチスケール融合(MSF),チャネルアテンションを組み合わせた効率的な音声分離ニューラルネットワーク ARFDCN を提案する。 実験結果から,本モデルでは性能と計算効率のバランスが良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T13:30:27Z)
• Exploring Vision Transformers as Diffusion Learners [15.32238726790633]
  様々な生成タスクのための拡散学習者として視覚変換器を体系的に探索する。 我々の改良により、バニラVTベースのバックボーン(IU-ViT)の性能は従来のU-Netベースの方法と同等に向上した。 我々は、64x64解像度を超えるテキスト・ツー・イメージタスクで単一の拡散モデルをトレーニングした最初の人です。
  論文  参考訳（メタデータ） (2022-12-28T10:32:59Z)
• Scalable Diffusion Models with Transformers [18.903245758902834]
  画像の潜時拡散モデルを訓練し、一般的に使用されるU-Netバックボーンを潜時パッチで動作するトランスフォーマーに置き換える。 変換器の深さ/幅の増大や入力トークンの数の増加などにより、より高いGflopsを持つDiTは、一貫して低いFIDを持つ。
  論文  参考訳（メタデータ） (2022-12-19T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。