論文の概要: Learning Mixtures of Experts with EM: A Mirror Descent Perspective

• arxiv url: http://arxiv.org/abs/2411.06056v2
• Date: Fri, 23 May 2025 20:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:52.942903
• Title: Learning Mixtures of Experts with EM: A Mirror Descent Perspective
• Title（参考訳）: EMによるエキスパートの混合学習 : ミラーディフレッシュ・パースペクティブ
• Authors: Quentin Fruytier, Aryan Mokhtari, Sujay Sanghavi,
• Abstract要約: 古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。 我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
• 参考スコア（独自算出の注目度）: 28.48469221248906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical Mixtures of Experts (MoE) are Machine Learning models that involve partitioning the input space, with a separate "expert" model trained on each partition. Recently, MoE-based model architectures have become popular as a means to reduce training and inference costs. There, the partitioning function and the experts are both learnt jointly via gradient descent-type methods on the log-likelihood. In this paper we study theoretical guarantees of the Expectation Maximization (EM) algorithm for the training of MoE models. We first rigorously analyze EM for MoE where the conditional distribution of the target and latent variable conditioned on the feature variable belongs to an exponential family of distributions and show its equivalence to projected Mirror Descent with unit step size and a Kullback-Leibler Divergence regularizer. This perspective allows us to derive new convergence results and identify conditions for local linear convergence; In the special case of mixture of $2$ linear or logistic experts, we additionally provide guarantees for linear convergence based on the signal-to-noise ratio. Experiments on synthetic and (small-scale) real-world data supports that EM outperforms the gradient descent algorithm both in terms of convergence rate and the achieved accuracy.
• Abstract（参考訳）: 古典的なMixtures of Experts(MoE)は、入力空間の分割を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。 近年,トレーニングや推論のコストを削減する手段として,MoEベースのモデルアーキテクチャが普及している。 そこで, 分割関数と専門家は, ログのような勾配降下型手法を用いて共同で学習する。 本稿では,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。 まず,特徴変数に条件付された目標変数と潜時変数の条件分布が指数関数列に属するMoEのEMを厳密に解析し,単位ステップサイズで投影されたミラーDescent とKullback-Leibler Divergence regularizer に同値を示す。 この観点は、新しい収束結果の導出と局所収束条件の特定を可能にする; 2$線形あるいはロジスティックな専門家の特別な場合、信号対雑音比に基づいて線形収束を保証する。 合成および(小規模な)実世界のデータの実験は、EMが収束率と達成された精度の両方で勾配降下アルゴリズムより優れていることを裏付けている。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
  ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。 モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。 また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-08T14:25:46Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning [0.0]
  本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。 まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。 結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
  論文  参考訳（メタデータ） (2022-05-31T09:18:58Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。