論文の概要: EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing

• arxiv url: http://arxiv.org/abs/2410.02098v1
• Date: Fri, 4 Oct 2024 22:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:55:37.032972
• Title: EC-DIT: Scaling Diffusion Transformers with Adaptive Expert-Choice Routing
• Title（参考訳）: EC-DIT:Adaptive Expert-Choice Routingによる拡散変換器のスケーリング
• Authors: Haotian Sun, Bowen Zhang, Yanghao Li, Haoshuo Huang, Tao Lei, Ruoming Pang, Bo Dai, Nan Du,
• Abstract要約: 我々は,エキスパート選択ルーティングを備えた拡散変圧器のためのMixture-of-Experts(MoE)モデル(EC-DIT)を新たに開発する。 EC-DITは、入力テキストを理解するために割り当てられた計算を適応的に最適化し、各画像パッチを生成する。 テキストと画像のアライメント評価において、我々の最大のモデルでは、最先端のGenEvalスコアが71.68%に達し、直感的に解釈可能な競合推論速度を維持しています。
• 参考スコア（独自算出の注目度）: 43.63139112740414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion transformers have been widely adopted for text-to-image synthesis. While scaling these models up to billions of parameters shows promise, the effectiveness of scaling beyond current sizes remains underexplored and challenging. By explicitly exploiting the computational heterogeneity of image generations, we develop a new family of Mixture-of-Experts (MoE) models (EC-DIT) for diffusion transformers with expert-choice routing. EC-DIT learns to adaptively optimize the compute allocated to understand the input texts and generate the respective image patches, enabling heterogeneous computation aligned with varying text-image complexities. This heterogeneity provides an efficient way of scaling EC-DIT up to 97 billion parameters and achieving significant improvements in training convergence, text-to-image alignment, and overall generation quality over dense models and conventional MoE models. Through extensive ablations, we show that EC-DIT demonstrates superior scalability and adaptive compute allocation by recognizing varying textual importance through end-to-end training. Notably, in text-to-image alignment evaluation, our largest models achieve a state-of-the-art GenEval score of 71.68% and still maintain competitive inference speed with intuitive interpretability.
• Abstract（参考訳）: 拡散変換器はテキストと画像の合成に広く採用されている。 これらのモデルを数十億のパラメータにスケールすることは、有望であることを示しているが、現在のサイズを超えてスケールする効果は、過小評価され、困難なままである。 画像生成の計算的不均一性を明示的に活用することにより、エキスパート・チョイス・ルーティングを持つ拡散トランスフォーマーのためのMixture-of-Experts(MoE)モデル(EC-DIT)を新たに開発する。 EC-DITは、入力テキストを理解するために割り当てられた計算を適応的に最適化し、各画像パッチを生成する。 この異質性は、EC-DITを最大97億のパラメータにスケーリングする効率的な方法を提供し、トレーニング収束、テキスト・ツー・イメージアライメント、および高密度モデルや従来のMoEモデルよりも全体的な生成品質を大幅に向上させる。 本稿では,EC-DITによる拡張性と適応性を示すため,エンド・ツー・エンド・トレーニングによるテキストの重要度を認識した。 特に,テキストと画像のアライメント評価では,最先端のGenEvalスコアが71.68%に達し,直感的に解釈可能な競合推論速度を維持している。

関連論文リスト

• FiT: Flexible Vision Transformer for Diffusion Model [81.85667773832279]
  本稿では,非制限解像度とアスペクト比で画像を生成するためのトランスフォーマーアーキテクチャを提案する。 静的解像度グリッドとしてイメージを認識する従来の方法とは異なり、FiTは動的サイズのトークンのシーケンスとしてイメージを概念化している。 総合的な実験は、幅広い解像度でFiTの異常な性能を実証している。
  論文  参考訳（メタデータ） (2024-02-19T18:59:07Z)
• AICT: An Adaptive Image Compression Transformer [18.05997169440533]
  我々は、より単純で効果的なTranformerベースのチャネルワイド自動回帰事前モデルを提案し、絶対画像圧縮変換器(ICT)を実現する。 提案したICTは、潜在表現からグローバルとローカルの両方のコンテキストをキャプチャできる。 我々は、サンドイッチのConvNeXtベースのプリ/ポストプロセッサで学習可能なスケーリングモジュールを活用し、よりコンパクトな潜在表現を正確に抽出する。
  論文  参考訳（メタデータ） (2023-07-12T11:32:02Z)
• StraIT: Non-autoregressive Generation with Stratified Image Transformer [63.158996766036736]
  Stratified Image Transformer(StraIT)は、純粋な非自己回帰(NAR)生成モデルである。 実験の結果,StraIT は NAR 生成を著しく改善し,既存の DM および AR 手法より優れていた。
  論文  参考訳（メタデータ） (2023-03-01T18:59:33Z)
• TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual Vision Transformer for Fast Arbitrary One-Shot Image Generation [11.207512995742999]
  画像の内部パッチから学習する生成的敵ネットワークを持つワンショット画像生成(OSG)は、世界中で注目を集めている。 本稿では,既存のワンショット画像生成手法の欠点を克服するために,個々の視覚変換器を用いた構造保存方式TcGANを提案する。
  論文  参考訳（メタデータ） (2023-02-16T03:05:59Z)
• Factorizer: A Scalable Interpretable Approach to Context Modeling for Medical Image Segmentation [6.030648996110607]
  この研究はFacterizerと呼ばれるモデルのファミリーを導入し、エンド・ツー・エンドのセグメンテーション・モデルを構築するために低ランク行列係数化の力を利用する。 具体的には、U字型アーキテクチャに組み込まれた微分可能な層として非負行列因子化(NMF)を定式化する、コンテキストモデリングに対する線形スケーラブルなアプローチを提案する。 ファクターは精度、スケーラビリティ、解釈可能性の点でCNNやTransformerと良好に競合する。
  論文  参考訳（メタデータ） (2022-02-24T18:51:19Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning [64.32306537419498]
  本稿では,複雑な変換を多様に生成する特徴量に基づく改良・拡張手法を提案する。 これらの変換は、クラスタリングを通じて抽出したクラス内およびクラス間の両方の情報も利用します。 提案手法は,大規模データセットにスケールアップしながら,より小さなデータセットに対して,現在の最先端技術に匹敵するものであることを実証する。
  論文  参考訳（メタデータ） (2020-07-16T17:55:31Z)
• Group Equivariant Generative Adversarial Networks [7.734726150561089]
  本研究では,グループ同変畳み込みネットワークを通じて,帰納的対称性をネットワークアーキテクチャに明示的に組み込む。 群変換はより表現力が高く、サンプルが少ないため、ジェネレータと判別器の間の勾配フィードバックが向上する。
  論文  参考訳（メタデータ） (2020-05-04T17:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。