論文の概要: Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention

• arxiv url: http://arxiv.org/abs/2410.11222v3
• Date: Tue, 08 Jul 2025 22:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 15:30:51.915984
• Title: Quadratic Gating Mixture of Experts: Statistical Insights into Self-Attention
• Title（参考訳）: 専門家の擬似ゲーティング・ミックス : 統計的考察から自己意識へ
• Authors: Pedram Akbarian, Huy Nguyen, Xing Han, Nhat Ho,
• Abstract要約: 混合専門家モデル(MoE)は、計算オーバーヘッドを保ちながら、モデルのキャパシティを効果的にスケーリングすることで知られる。 我々は,MoEと自己注意機構の厳密な関係を確立し,自己注意行列の各行が線形専門家の二次ゲーティング混合として記述可能であることを示す。 自己注意の式における値行列に非線形アクティベーション関数を適用可能な,新規なemphactive-attention機構を提案する。
• 参考スコア（独自算出の注目度）: 28.17124843417577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of Experts (MoE) models are well known for effectively scaling model capacity while preserving computational overheads. In this paper, we establish a rigorous relation between MoE and the self-attention mechanism, showing that each row of a self-attention matrix can be written as a quadratic gating mixture of linear experts. Motivated by this connection, we conduct a comprehensive convergence analysis of MoE models with two different quadratic gating functions, namely the quadratic polynomial gate and the quadratic monomial gate, offering useful insights into the design of gating and experts for the MoE framework. First, our analysis indicates that the use of the quadratic monomial gate yields an improved sample efficiency for estimating parameters and experts compared to the quadratic polynomial gate. Second, parameter and expert estimation rates become significantly faster when employing non-linear experts in place of linear experts. Combining these theoretical insights with the above link between MoE and self-attention, we propose a novel \emph{active-attention} mechanism where we apply a non-linear activation function to the value matrix in the formula of self-attention. Finally, we demonstrate that the proposed active-attention outperforms the standard self-attention through several extensive experiments in various tasks, including image classification, language modeling, and multivariate time series forecasting.
• Abstract（参考訳）: 混合専門家モデル(MoE)は、計算オーバーヘッドを保ちながら、モデルのキャパシティを効果的にスケーリングすることで知られる。 本稿では,MoEと自己注意機構の厳密な関係を確立し,自己注意行列の各行が線形専門家の二次ゲーティング混合として記述可能であることを示す。 この接続によって、二次多項式ゲートと二次単項ゲートという2つの異なる2次ゲーティング関数を持つMoEモデルの総合収束解析を行い、ゲーティングの設計とMoEフレームワークの専門家に有用な洞察を提供する。 まず,2次多項式ゲートを用いた場合,2次多項式ゲートと比較してパラメータや専門家を推定するためのサンプリング効率が向上することが示唆された。 第二に、線形の専門家の代わりに非線形の専門家を雇うと、パラメータと専門家の推定速度が大幅に速くなる。 これらの理論的な洞察と、上記のMoEと自己注意の関係を組み合わせることで、自己注意の式における値行列に非線形活性化関数を適用する新しい「emph{active-attention}」機構を提案する。 最後に,提案手法は,画像分類,言語モデリング,多変量時系列予測など,様々なタスクにおける広範囲な実験を通じて,標準的な自己注意よりも優れていることを示す。

関連論文リスト

• Beyond Standard MoE: Mixture of Latent Experts for Resource-Efficient Language Models [10.623996218106564]
  本稿では,特定の専門家の共有潜在空間へのマッピングを容易にする新しいパラメータ化手法を提案する。 すべてのエキスパート演算は、体系的に2つの主成分に分解される: 共有射影を低次元の潜在空間に分割し、その後専門家固有の変換を行う。 この分解されたアプローチは、パラメータ数と計算要求を大幅に減少させる。
  論文  参考訳（メタデータ） (2025-03-29T14:35:34Z)
• ExpertRAG: Efficient RAG with Mixture of Experts -- Optimizing Context Retrieval for Adaptive LLM Responses [0.0]
  ExpertRAGは、Mixture-of-Experts (MoE)アーキテクチャとRetrieval Augmented Generation (RAG)を統合する新しい理論フレームワークである 本稿では,エキスパートルーティングと組み合わせた動的検索ゲーティング機構を提案し,モデルが外部知識ストアを選択的に参照したり,専門的な内部エキスパートに依存したりすることを可能にする。 本稿では,選択検索による計算コストの削減と,スパース専門家の利用によるキャパシティゲインの定量化を行う。
  論文  参考訳（メタデータ） (2025-03-23T17:26:23Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Learning Mask Invariant Mutual Information for Masked Image Modeling [35.63719638508299]
  Maskedencodes (MAEs) はコンピュータビジョンにおける卓越した自己教師型学習パラダイムである。 近年の研究では、コントラスト学習と特徴表現分析を通じて、MAEの機能の解明が試みられている。 本稿では,情報理論における情報ボトルネックの原理を活用することで,MAEを理解するための新たな視点を提案する。
  論文  参考訳（メタデータ） (2025-02-27T03:19:05Z)
• Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient [4.34286535607654]
  我々は,高密度モデルとMoEモデルに対する共同スケーリング法則を提案し,アクティブパラメータ数,データセットサイズ,エキスパート数といった重要な要素を取り入れた。 驚くべきことに、従来の知恵とは対照的に、MoEモデルは高密度モデルよりもメモリ効率が高いことが示される。
  論文  参考訳（メタデータ） (2025-02-07T18:55:38Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions [29.130355774088205]
  Hierarchical Mixture of Experts (HMoE)は、複雑な入力の処理とターゲットタスクのパフォーマンス向上に長けている。 理論的には、各専門家群に配向ゲーティング関数を適用することで、HMoEが堅牢な結果が得られることを証明している。 これには、大規模なマルチモーダルタスク、画像分類、潜時ドメイン発見および予測タスクが含まれます。
  論文  参考訳（メタデータ） (2024-10-03T19:28:52Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Enhancing Fairness and Performance in Machine Learning Models: A Multi-Task Learning Approach with Monte-Carlo Dropout and Pareto Optimality [1.5498930424110338]
  本研究では,モデル不確実性を利用した機械学習におけるバイアス軽減手法を提案する。 提案手法では,モンテカルロ・ドロップアウト(MC)と組み合わせたマルチタスク学習(MTL)フレームワークを用いて,保護ラベルに関連する予測の不確実性を評価・緩和する。
  論文  参考訳（メタデータ） (2024-04-12T04:17:50Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• Pessimism meets VCG: Learning Dynamic Mechanism Design via Offline Reinforcement Learning [114.36124979578896]
  オフライン強化学習アルゴリズムを用いて動的メカニズムを設計する。 我々のアルゴリズムは悲観主義の原理に基づいており、オフラインデータセットのカバレッジについて軽度な仮定しか必要としない。
  論文  参考訳（メタデータ） (2022-05-05T05:44:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。