論文の概要: Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts
- arxiv url: http://arxiv.org/abs/2601.19811v1
- Date: Tue, 27 Jan 2026 17:12:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.412593
- Title: Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts
- Title（参考訳）: 漸進確率的偏化最小化アルゴリズムの再検討とエキスパートの混合への応用
- Authors: TrungKhang Tran, TrungTin Nguyen, Gersende Fort, Tung Doan, Hien Duy Nguyen, Binh T. Nguyen, Florence Forbes, Christopher Drovandi,
- Abstract要約: 本研究では,特殊ケースとしてインクリメンタルEMを一般化するMajorization-Minimization (MM)アルゴリズムの漸進的変種を解析する。
我々のアプローチは、明示的な潜伏表現のような重要なEM要求を緩和する。
我々はこれらの利点を、EMアルゴリズムが利用できない専門家の回帰問題(MoE)のソフトマックス混合で示す。
- 参考スコア（独自算出の注目度）: 10.724240883426617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Processing high-volume, streaming data is increasingly common in modern statistics and machine learning, where batch-mode algorithms are often impractical because they require repeated passes over the full dataset. This has motivated incremental stochastic estimation methods, including the incremental stochastic Expectation-Maximization (EM) algorithm formulated via stochastic approximation. In this work, we revisit and analyze an incremental stochastic variant of the Majorization-Minimization (MM) algorithm, which generalizes incremental stochastic EM as a special case. Our approach relaxes key EM requirements, such as explicit latent-variable representations, enabling broader applicability and greater algorithmic flexibility. We establish theoretical guarantees for the incremental stochastic MM algorithm, proving consistency in the sense that the iterates converge to a stationary point characterized by a vanishing gradient of the objective. We demonstrate these advantages on a softmax-gated mixture of experts (MoE) regression problem, for which no stochastic EM algorithm is available. Empirically, our method consistently outperforms widely used stochastic optimizers, including stochastic gradient descent, root mean square propagation, adaptive moment estimation, and second-order clipped stochastic optimization. These results support the development of new incremental stochastic algorithms, given the central role of softmax-gated MoE architectures in contemporary deep neural networks for heterogeneous data modeling. Beyond synthetic experiments, we also validate practical effectiveness on two real-world datasets, including a bioinformatics study of dent maize genotypes under drought stress that integrates high-dimensional proteomics with ecophysiological traits, where incremental stochastic MM yields stable gains in predictive performance.
- Abstract（参考訳）: バッチモードのアルゴリズムは、完全なデータセットを何度もパスする必要があるため、しばしば非現実的である。
これは、確率近似によって定式化された漸進確率予測最大化(EM)アルゴリズムを含む漸進確率推定手法を動機付けている。
本研究では,特殊ケースとして増分確率EMを一般化するMajorization-Minimization (MM)アルゴリズムの漸増確率変種を再検討し,解析する。
我々のアプローチは、明示的な潜在変数表現などの重要なEM要件を緩和し、より広範な適用性とアルゴリズムの柔軟性を実現する。
我々は,段階的確率的MMアルゴリズムの理論的保証を確立し,反復が目標の消失勾配を特徴とする定常点に収束するという意味で整合性を示す。
これらの利点は、確率的EMアルゴリズムが利用できない、専門家の回帰問題(MoE)のソフトマックス付き混合問題を実証する。
提案手法は,確率勾配降下,ルート平均二乗伝搬,適応モーメント推定,2次クリッピング確率最適化など,広く使われている確率最適化器より一貫して優れる。
これらの結果は、異種データモデリングのための現代のディープニューラルネットワークにおけるソフトマックスゲートMOEアーキテクチャの中心的な役割を考慮し、新しい漸進確率的アルゴリズムの開発を支援する。
また,2つの実世界のデータセットに対して,高次元プロテオミクスと生態学的特性を統合した乾燥ストレス下でのデントトウモロコシ遺伝子型のバイオインフォマティクス研究を含む実用的効果も検証した。
関連論文リスト
- Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。
これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。
様々な最先端の繰り返しに比べて優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - Stochastic interior-point methods for smooth conic optimization with applications [0.8519339317685906]
一般円錐最適化のためのインテリアポイント法を4つの新しいSIPM変種とともに導入する。
提案したSIPMの複雑性は,多対数係数まで,制約のないデータストリームにおいて最もよく知られた結果と一致する。
頑健な線形回帰、マルチタスク関係学習、クラスタリングデータストリームの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-12-17T15:06:44Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。
本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-04T01:47:37Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳（メタデータ） (2021-07-02T16:21:52Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z) - A Contour Stochastic Gradient Langevin Dynamics Algorithm for
Simulations of Multi-modal Distributions [17.14287157979558]
ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。
提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
論文 参考訳（メタデータ） (2020-10-19T19:20:47Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。