論文の概要: A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications

• arxiv url: http://arxiv.org/abs/2503.07137v1
• Date: Mon, 10 Mar 2025 10:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:16.700333
• Title: A Comprehensive Survey of Mixture-of-Experts: Algorithms, Theory, and Applications
• Title（参考訳）: 実験の混合に関する包括的調査:アルゴリズム,理論,応用
• Authors: Siyuan Mu, Sen Lin,
• Abstract要約: 本稿では,ゲーティング機能,エキスパートネットワーク,ルーティング機構,トレーニング戦略,システム設計など,MoEの基本設計を紹介する。 次に,継続学習,メタ学習,マルチタスク学習,強化学習など,機械学習の重要なパラダイムにおけるMoEのアルゴリズム設計について検討する。
• 参考スコア（独自算出の注目度）: 7.414857515253022
• License:
• Abstract: Artificial intelligence (AI) has achieved astonishing successes in many domains, especially with the recent breakthroughs in the development of foundational large models. These large models, leveraging their extensive training data, provide versatile solutions for a wide range of downstream tasks. However, as modern datasets become increasingly diverse and complex, the development of large AI models faces two major challenges: (1) the enormous consumption of computational resources and deployment difficulties, and (2) the difficulty in fitting heterogeneous and complex data, which limits the usability of the models. Mixture of Experts (MoE) models has recently attracted much attention in addressing these challenges, by dynamically selecting and activating the most relevant sub-models to process input data. It has been shown that MoEs can significantly improve model performance and efficiency with fewer resources, particularly excelling in handling large-scale, multimodal data. Given the tremendous potential MoE has demonstrated across various domains, it is urgent to provide a comprehensive summary of recent advancements of MoEs in many important fields. Existing surveys on MoE have their limitations, e.g., being outdated or lacking discussion on certain key areas, and we aim to address these gaps. In this paper, we first introduce the basic design of MoE, including gating functions, expert networks, routing mechanisms, training strategies, and system design. We then explore the algorithm design of MoE in important machine learning paradigms such as continual learning, meta-learning, multi-task learning, and reinforcement learning. Additionally, we summarize theoretical studies aimed at understanding MoE and review its applications in computer vision and natural language processing. Finally, we discuss promising future research directions.
• Abstract（参考訳）: 人工知能(AI)は、多くの領域で驚くべき成功を収め、特に基礎的な大規模モデルの開発における最近のブレークスルーで成功している。 これらの大規模なモデルは、広範囲のトレーニングデータを活用し、幅広い下流タスクに対して汎用的なソリューションを提供する。 しかし、近年のデータセットの多様化と複雑化に伴い、大きなAIモデルの開発には、(1)計算資源の膨大な消費と展開の困難、(2)モデルの使い勝手を制限する不均一で複雑なデータに適合することの難しさ、の2つの大きな課題に直面している。 最近、Mixture of Experts (MoE) モデルは、入力データを処理するために最も関連するサブモデルを動的に選択し、活性化することによって、これらの課題に対処することに多くの注目を集めている。 MoEは、特に大規模マルチモーダルデータを扱うのに優れたリソースが少ないため、モデルの性能と効率を著しく向上させることができることが示されている。 様々な領域でMoEが実証された可能性を考えると、多くの重要な分野におけるMoEの最近の進歩を包括的に概説することが急務である。 既存のMoEに関する調査には、例えば、時代遅れである、あるいは特定の重要な領域に関する議論が欠如しているといった制限があり、これらのギャップに対処することを目指している。 本稿ではまず,ゲーティング関数,エキスパートネットワーク,ルーティング機構,トレーニング戦略,システム設計など,MoEの基本設計を紹介する。 次に,継続学習,メタ学習,マルチタスク学習,強化学習など,機械学習の重要なパラダイムにおけるMoEのアルゴリズム設計について検討する。 さらに,MoEの理解を目的とした理論的研究を要約し,コンピュータビジョンや自然言語処理への応用を概観する。 最後に将来的な研究の方向性について論じる。

関連論文リスト

• Mixture of Experts (MoE): A Big Data Perspective [34.785207813971134]
  専門家の混在(MoE)は優れたパフォーマンスと幅広い応用の見通しを示している。 本稿では,ビッグデータ処理におけるMoEの原理,技術,応用を体系的に詳述する。
  論文  参考訳（メタデータ） (2025-01-18T20:17:31Z)
• HEMM: Holistic Evaluation of Multimodal Foundation Models [91.60364024897653]
  マルチモーダル・ファンデーション・モデルは、画像、ビデオ、オーディオ、その他の知覚モダリティと共にテキストをホリスティックに処理することができる。 モデリング決定、タスク、ドメインの範囲を考えると、マルチモーダル基盤モデルの進歩を特徴づけ、研究することは困難である。
  論文  参考訳（メタデータ） (2024-07-03T18:00:48Z)
• From Efficient Multimodal Models to World Models: A Survey [28.780451336834876]
  マルチモーダル大規模モデル(MLM)は、強力な言語モデルとマルチモーダル学習を組み合わせた重要な研究対象となっている。 このレビューでは、人工知能の実現におけるその可能性を強調し、大規模指導における最新の発展と課題について考察する。
  論文  参考訳（メタデータ） (2024-06-27T15:36:43Z)
• A Survey on Mixture of Experts [11.801185267119298]
  モデルキャパシティを最小限のオーバーヘッドでスケールアップする有効な方法として、専門家(MoE)の混在が現れた。 MoEは、最小限のオーバーヘッドでモデルキャパシティを実質的にスケールアップする効果的な方法として登場した。 この調査は、このギャップを埋めることを目指しており、MoEの複雑さを探求する研究者にとって不可欠なリソースとなっている。
  論文  参考訳（メタデータ） (2024-06-26T16:34:33Z)
• On the Challenges and Opportunities in Generative AI [157.96723998647363]
  私たちは、現在の大規模な生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの根本的な欠点を示しています。 我々は、研究者に実りある研究の方向性を探るための洞察を提供することを目標とし、より堅牢でアクセスしやすい生成AIソリューションの開発を促進する。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• A Survey of Resource-efficient LLM and Multimodal Foundation Models [22.23967603206849]
  大規模言語モデル(LLM)、ビジョントランスフォーマー(ViT)、拡散、マルチモーダルモデルを含む大規模な基盤モデルは、機械学習ライフサイクル全体に革命をもたらしている。 しかしながら、これらのモデルが提供する汎用性と性能の大幅な進歩は、ハードウェアリソースの面でかなりのコストがかかる。 この調査は、アルゴリズム的側面とシステム的側面の両方を調べることで、そのような研究の重要さを掘り下げるものである。
  論文  参考訳（メタデータ） (2024-01-16T03:35:26Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。