論文の概要: DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2503.14487v1
• Date: Tue, 18 Mar 2025 17:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:34.157786
• Title: DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers
• Title（参考訳）: DiffMoE: スケーラブル拡散変換器のための動的トークン選択
• Authors: Minglei Shi, Ziyang Yuan, Haotian Yang, Xintao Wang, Mingwu Zheng, Xin Tao, Wenliang Zhao, Wenzhao Zheng, Jie Zhou, Jiwen Lu, Pengfei Wan, Di Zhang, Kun Gai,
• Abstract要約: DiffMoEはバッチレベルのグローバルトークンプールで、トレーニング中に専門家がグローバルトークンの配布にアクセスできるようにする。 ImageNetベンチマークの拡散モデル間での最先端のパフォーマンスを実現する。 このアプローチの有効性は、クラス条件生成を超えて、テキスト・ツー・イメージ生成のようなより困難なタスクにも及んでいる。
• 参考スコア（独自算出の注目度）: 86.5541501589166
• License:
• Abstract: Diffusion models have demonstrated remarkable success in various image generation tasks, but their performance is often limited by the uniform processing of inputs across varying conditions and noise levels. To address this limitation, we propose a novel approach that leverages the inherent heterogeneity of the diffusion process. Our method, DiffMoE, introduces a batch-level global token pool that enables experts to access global token distributions during training, promoting specialized expert behavior. To unleash the full potential of the diffusion process, DiffMoE incorporates a capacity predictor that dynamically allocates computational resources based on noise levels and sample complexity. Through comprehensive evaluation, DiffMoE achieves state-of-the-art performance among diffusion models on ImageNet benchmark, substantially outperforming both dense architectures with 3x activated parameters and existing MoE approaches while maintaining 1x activated parameters. The effectiveness of our approach extends beyond class-conditional generation to more challenging tasks such as text-to-image generation, demonstrating its broad applicability across different diffusion model applications. Project Page: https://shiml20.github.io/DiffMoE/
• Abstract（参考訳）: 拡散モデルは様々な画像生成タスクにおいて顕著な成功を収めてきたが、その性能は様々な条件やノイズレベルにまたがる入力の均一な処理によって制限されることが多い。 この制限に対処するため,拡散過程の固有不均一性を活用する新しい手法を提案する。 我々の手法であるDiffMoEは、専門家が訓練中にグローバルトークンの分布にアクセスし、専門的な専門家の行動を促進できるバッチレベルのグローバルトークンプールを導入している。 拡散過程の完全なポテンシャルを解き放つために、DiffMoEはノイズレベルとサンプルの複雑さに基づいて計算資源を動的に割り当てるキャパシティ予測器を組み込んでいる。 総合評価により、DiffMoEはImageNetベンチマークにおける拡散モデル間の最先端性能を実現し、3xアクティベートパラメータと1xアクティベートパラメータを維持しながら既存のMoEアプローチの両方で大幅に性能を向上する。 提案手法の有効性は, クラス条件生成を超えて, テキスト・画像生成などの課題に及び, 異なる拡散モデルアプリケーションにまたがって適用可能であることを示す。 Project Page: https://shiml20.github.io/DiffMoE/

関連論文リスト

• Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
  本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。 拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。 Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-06-23T14:24:14Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Memory-Efficient Fine-Tuning for Quantized Diffusion Model [12.875837358532422]
  本稿では,量子化拡散モデルのためのメモリ効率の良い微調整手法であるTuneQDMを紹介する。 提案手法は, 単目的/多目的の両方の世代において, ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-01-09T03:42:08Z)
• Improving Efficiency of Diffusion Models via Multi-Stage Framework and Tailored Multi-Decoder Architectures [12.703947839247693]
  拡散モデルは強力な深層生成ツールとして登場し、様々な応用に優れている。 しかし、その顕著な生成性能は、遅いトレーニングとサンプリングによって妨げられている。 これは、広範囲の前方および逆拡散軌道を追跡する必要があるためである。 本稿では,これらの課題に対処するための経験的知見から着想を得た多段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T17:48:09Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• MagicFusion: Boosting Text-to-Image Generation Performance by Fusing Diffusion Models [20.62953292593076]
  本研究では,より制御可能な生成を実現するために,融合したテキスト誘導拡散モデルを実現するためのSNB (Saliency-aware Noise Blending) という,シンプルで効果的な手法を提案する。 SNBはトレーニングフリーであり、DDIMサンプリングプロセス内で完成することができる。さらに、マスクなどの追加アノテーションを必要とせずに、2つのノイズ空間のセマンティクスを自動的に調整することができる。
  論文  参考訳（メタデータ） (2023-03-23T09:30:39Z)
• Versatile Diffusion: Text, Images and Variations All in One Diffusion Model [76.89932822375208]
  Versatile Diffusionは、テキスト・ツー・イメージ、画像・ツー・テキスト、バリエーションの複数のフローを1つの統一モデルで処理する。 私たちのコードとモデルはhttps://github.com/SHI-Labs/Versatile-Diffusion.comでオープンソース化されています。
  論文  参考訳（メタデータ） (2022-11-15T17:44:05Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• Balanced Multimodal Learning via On-the-fly Gradient Modulation [10.5602074277814]
  マルチモーダル学習は、異なる感覚を統合することで、世界を包括的に理解するのに役立つ。 学習目標に対する貢献の相違をモニタリングすることで,各モードの最適化を適応的に制御するオンザフライ勾配変調を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:26:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。