論文の概要: Learning Mixtures of Experts with EM: A Mirror Descent Perspective
- arxiv url: http://arxiv.org/abs/2411.06056v2
- Date: Fri, 23 May 2025 20:53:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 14:32:52.942903
- Title: Learning Mixtures of Experts with EM: A Mirror Descent Perspective
- Title（参考訳）: EMによるエキスパートの混合学習 : ミラーディフレッシュ・パースペクティブ
- Authors: Quentin Fruytier, Aryan Mokhtari, Sujay Sanghavi,
- Abstract要約: 古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。
我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
- 参考スコア（独自算出の注目度）: 28.48469221248906
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical Mixtures of Experts (MoE) are Machine Learning models that involve partitioning the input space, with a separate "expert" model trained on each partition. Recently, MoE-based model architectures have become popular as a means to reduce training and inference costs. There, the partitioning function and the experts are both learnt jointly via gradient descent-type methods on the log-likelihood. In this paper we study theoretical guarantees of the Expectation Maximization (EM) algorithm for the training of MoE models. We first rigorously analyze EM for MoE where the conditional distribution of the target and latent variable conditioned on the feature variable belongs to an exponential family of distributions and show its equivalence to projected Mirror Descent with unit step size and a Kullback-Leibler Divergence regularizer. This perspective allows us to derive new convergence results and identify conditions for local linear convergence; In the special case of mixture of $2$ linear or logistic experts, we additionally provide guarantees for linear convergence based on the signal-to-noise ratio. Experiments on synthetic and (small-scale) real-world data supports that EM outperforms the gradient descent algorithm both in terms of convergence rate and the achieved accuracy.
- Abstract（参考訳）: 古典的なMixtures of Experts(MoE)は、入力空間の分割を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。
近年,トレーニングや推論のコストを削減する手段として,MoEベースのモデルアーキテクチャが普及している。
そこで, 分割関数と専門家は, ログのような勾配降下型手法を用いて共同で学習する。
本稿では,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
まず,特徴変数に条件付された目標変数と潜時変数の条件分布が指数関数列に属するMoEのEMを厳密に解析し,単位ステップサイズで投影されたミラーDescent とKullback-Leibler Divergence regularizer に同値を示す。
この観点は、新しい収束結果の導出と局所収束条件の特定を可能にする; 2$線形あるいはロジスティックな専門家の特別な場合、信号対雑音比に基づいて線形収束を保証する。
合成および(小規模な)実世界のデータの実験は、EMが収束率と達成された精度の両方で勾配降下アルゴリズムより優れていることを裏付けている。
関連論文リスト
- Equivariant Evidential Deep Learning for Interatomic Potentials [55.6997213490859]
不確かさの定量化は、分子動力学シミュレーションにおける機械学習の原子間ポテンシャルの信頼性を評価するために重要である。
既存のMLIPのUQアプローチは、高い計算コストや準最適性能によって制限されることが多い。
我々は,原子間ポテンシャルの定量的深層学習(texte2$IP)を提案する。
論文 参考訳（メタデータ） (2026-02-11T02:00:25Z) - Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。
本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。
また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
論文 参考訳（メタデータ） (2026-01-31T23:45:50Z) - Mixture-of-Experts Models in Vision: Routing, Optimization, and Generalization [0.0]
画像分類設定におけるMoEの挙動について検討し、予測性能、専門家の活用、一般化に着目した。
我々は、CIFAR10データセット上の密度、SoftMoE、SparseMoE分類器を、同等のモデルキャパシティで比較する。
どちらのMoE変種も、正規化によるバランスの取れた専門家の利用を維持しながら、密度の高いベースラインよりもわずかに高い検証精度を達成する。
DenseとSparseMoEは、全てのモデルが同等の一般化性能を達成しているにもかかわらず、同様の曲率状態にあるのに対して、SoftMoEはこれらの指標によってよりシャープさを示す。
論文 参考訳（メタデータ） (2026-01-21T14:22:25Z) - Cluster-Based Generalized Additive Models Informed by Random Fourier Features [19.409397281817288]
この研究は、データ内の局所適応構造を明らかにするために、ランダムフーリエ特徴(RFF)表現を利用する一般化加法モデル(GAM)の混合を導入している。
カリフォルニアハウジング、NASA Air Self-Noise、Bike Sharingデータセットなど、実世界の回帰ベンチマークに関する数値実験は、予測性能の向上を実証している。
論文 参考訳（メタデータ） (2025-12-22T13:15:52Z) - Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。
生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
論文 参考訳（メタデータ） (2025-10-16T03:37:16Z) - Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm [5.625796693054093]
過特定ガウス混合モデルに適用した場合のEMアルゴリズムの収束特性について検討する。
集団EMアルゴリズムはクルバック・リーブラー距離(KL)において指数関数的に高速に収束することを示した。
論文 参考訳（メタデータ） (2025-06-13T14:57:57Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Wasserstein Convergence of Score-based Generative Models under Semiconvexity and Discontinuous Gradients [0.0]
スコアベース生成モデル(SGM)は、ガウス雑音で摂動させ、学習された拡散過程を通じてデノベーションすることで、データ分布を近似する。
我々は、潜在的に不連続な勾配を持つ半1次を対象とするSGMに対して、最初の非同相なワッサーシュタイン-2収束保証を確立する。
論文 参考訳（メタデータ） (2025-05-06T11:17:15Z) - DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-02-18T02:37:26Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。
モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。
また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-08T14:25:46Z) - Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。
この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
論文 参考訳（メタデータ） (2024-10-02T17:53:23Z) - SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。
第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。
実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
論文 参考訳（メタデータ） (2024-04-07T22:13:43Z) - On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。
我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。
本研究は,専門家の選択に重要な意味を持つ。
論文 参考訳（メタデータ） (2024-02-05T12:31:18Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳（メタデータ） (2023-12-19T21:45:38Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳（メタデータ） (2023-05-30T21:07:52Z) - The Generalization Error of Stochastic Mirror Descent on
Over-Parametrized Linear Models [37.6314945221565]
ディープネットワークは、目に見えないデータにうまく一般化することが知られている。
正規化特性は「良い」性質を持つ補間解が見つかることを保証している。
理論を検証し、2つのデータモデルを導入するシミュレーション結果を提案する。
論文 参考訳（メタデータ） (2023-02-18T22:23:42Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - Stochastic Mirror Descent in Average Ensemble Models [38.38572705720122]
ミラー降下 (SMD) はトレーニングアルゴリズムの一般的なクラスであり、特別な場合として、祝い勾配降下 (SGD) を含む。
本稿では,平均場アンサンブルモデルにおけるミラーポテンシャルアルゴリズムの性能について検討する。
論文 参考訳（メタデータ） (2022-10-27T11:04:00Z) - Improvements to Supervised EM Learning of Shared Kernel Models by
Feature Space Partitioning [0.0]
本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。
まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。
結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
論文 参考訳（メタデータ） (2022-05-31T09:18:58Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳（メタデータ） (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。