論文の概要: Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts

• arxiv url: http://arxiv.org/abs/2503.16057v1
• Date: Thu, 20 Mar 2025 11:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:36:04.644355
• Title: Expert Race: A Flexible Routing Strategy for Scaling Diffusion Transformer with Mixture of Experts
• Title（参考訳）: エキスパートレース: エキスパートの混在による拡散変圧器のスケーリングのための柔軟なルーティング戦略
• Authors: Yike Yuan, Ziyu Wang, Zihao Huang, Defa Zhu, Xun Zhou, Jingyi Yu, Qiyang Min,
• Abstract要約: 我々は、フレキシブルなルーティング戦略を持つ拡散変圧器のための新しいMoEモデルであるRace-DiT、Expert Raceを紹介する。 トークンとエキスパートが競争し、上位候補を選択することによって、モデルはエキスパートをクリティカルトークンに動的に割り当てることを学ぶ。
• 参考スコア（独自算出の注目度）: 33.39800923804871
• License:
• Abstract: Diffusion models have emerged as mainstream framework in visual generation. Building upon this success, the integration of Mixture of Experts (MoE) methods has shown promise in enhancing model scalability and performance. In this paper, we introduce Race-DiT, a novel MoE model for diffusion transformers with a flexible routing strategy, Expert Race. By allowing tokens and experts to compete together and select the top candidates, the model learns to dynamically assign experts to critical tokens. Additionally, we propose per-layer regularization to address challenges in shallow layer learning, and router similarity loss to prevent mode collapse, ensuring better expert utilization. Extensive experiments on ImageNet validate the effectiveness of our approach, showcasing significant performance gains while promising scaling properties.
• Abstract（参考訳）: 拡散モデルは視覚生成において主流のフレームワークとして現れてきた。 この成功に基づいて、Mixture of Experts(MoE)メソッドの統合は、モデルのスケーラビリティとパフォーマンスを向上させることを約束している。 本稿では、フレキシブルなルーティング戦略を持つ拡散変圧器のための新しいMoEモデルであるRace-DiTについて紹介する。 トークンとエキスパートが競争し、上位候補を選択することによって、モデルはエキスパートをクリティカルトークンに動的に割り当てることを学ぶ。 さらに,浅層学習における課題に対処するための階層ごとの正規化と,モード崩壊防止のためのルータ類似性損失を提案する。 ImageNetの大規模な実験は、我々のアプローチの有効性を検証し、スケーリング特性を約束しながら、大きなパフォーマンス向上を示す。

関連論文リスト

• On the effectiveness of discrete representations in sparse mixture of experts [33.809432499123275]
  VQMoE(Vector-Quantized Mixture of Experts)と呼ばれる新しいアーキテクチャを提案する。 VQMoEは計算コストを増大させることなく、モデルキャパシティをスケールアップするための効果的なソリューションである。 VQMoEは,他のSMoEルーティング方式と比較して,ルータの28%の改善を実現している。
  論文  参考訳（メタデータ） (2024-11-28T22:32:01Z)
• ViMoE: An Empirical Study of Designing Vision Mixture-of-Experts [71.11994027685974]
  画像分類とセマンティックセグメンテーションの包括的研究を通じて,MoEを視覚に適用する可能性について検討した。 性能がMoE層の構成に敏感であることから,設計を慎重に行わずに最適な結果を得ることが困難である。 我々は、共有専門家を導入し、共通の知識を習得し、捕獲し、安定したViMoEを構築する効果的な方法として役立てる。
  論文  参考訳（メタデータ） (2024-10-21T07:51:17Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [29.130355774088205]
  FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。 多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
  論文  参考訳（メタデータ） (2024-02-05T17:37:46Z)
• CompeteSMoE -- Effective Training of Sparse Mixture of Experts via Competition [52.2034494666179]
  スパース・ミックス・オブ・エキスパート(SMoE)は、ネットワークの深さや幅を増大させる平均を超えた、モデルの複雑さをスケールアップする魅力的なソリューションを提供する。 本稿では,この表現崩壊の根本的な課題に対処する競合機構を提案する。 入力を最も高い神経応答を持つ専門家にのみルーティングすることにより、コンペティションが最適推定器と同じ収束率を持つことを示す。
  論文  参考訳（メタデータ） (2024-02-04T15:17:09Z)
• Exploiting Inter-Layer Expert Affinity for Accelerating Mixture-of-Experts Model Inference [3.217776693788795]
  本稿では,事前学習したMoEモデルの推論を高速化するために,ExFlowと呼ばれる軽量な最適化手法を提案する。 層間エキスパート親和性を利用して, 微調整や精度の低下を伴わずに, 事前学習したMoEモデルに直接適用することができる。 我々のソリューションは、8から64のエキスパートによる最先端のMoE実装を破り、推論スループットを最大2.2倍改善しました。
  論文  参考訳（メタデータ） (2024-01-16T14:16:47Z)
• Soft Merging of Experts with Adaptive Routing [38.962451264172856]
  適応ルーティングによるエキスパートのソフトマージ(SMEAR)について紹介する SMEARは、専門家のパラメータの重み付け平均を通して構築された単一の「マージされた」専門家を使用することで、離散的なルーティングを避ける。 我々は,メタデータに基づいた経路モデルや,勾配推定によるスパースルーティングを学習するSMEARモデルを用いたモデルの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-06T15:04:31Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• On the Representation Collapse of Sparse Mixture of Experts [102.83396489230375]
  専門家のまばらな混合は、一定の計算オーバーヘッドを必要としながら、より大きなモデルキャパシティを提供する。 入力トークンを隠された表現に従ってベストマッチした専門家に分散するためにルーティング機構を使用する。 しかし、そのようなルーティングメカニズムを学ぶことで、専門家のセントロイドを中心にトークンのクラスタリングが促進され、表現の崩壊の傾向が示唆される。
  論文  参考訳（メタデータ） (2022-04-20T01:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。