論文の概要: Distributed Learning of Mixtures of Experts

• arxiv url: http://arxiv.org/abs/2312.09877v1
• Date: Fri, 15 Dec 2023 15:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:19:15.515048
• Title: Distributed Learning of Mixtures of Experts
• Title（参考訳）: 専門家の混合物の分散学習
• Authors: Fa\"icel Chamroukhi, Nhat Thien Pham
• Abstract要約: 私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern machine learning problems we deal with datasets that are either distributed by nature or potentially large for which distributing the computations is usually a standard way to proceed, since centralized algorithms are in general ineffective. We propose a distributed learning approach for mixtures of experts (MoE) models with an aggregation strategy to construct a reduction estimator from local estimators fitted parallelly to distributed subsets of the data. The aggregation is based on an optimal minimization of an expected transportation divergence between the large MoE composed of local estimators and the unknown desired MoE model. We show that the provided reduction estimator is consistent as soon as the local estimators to be aggregated are consistent, and its construction is performed by a proposed majorization-minimization (MM) algorithm that is computationally effective. We study the statistical and numerical properties for the proposed reduction estimator on experiments that demonstrate its performance compared to namely the global estimator constructed in a centralized way from the full dataset. For some situations, the computation time is more than ten times faster, for a comparable performance. Our source codes are publicly available on Github.
• Abstract（参考訳）: 現代の機械学習の問題では、集中型アルゴリズムが一般的に非効率であるため、自然に分散するか、あるいは計算を分散する潜在的に大きいデータセットを扱うのが一般的です。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,MoEモデルとアグリゲーション戦略を組み合わせた分散学習手法を提案する。 このアグリゲーションは、局所推定子からなる大きなmoeと未知の所望のmoeモデルとの間の期待輸送の最適最小化に基づいている。 得られた縮小推定器は, 集約する局所推定器が一貫した値と一致し, その構成は, 計算効率のよい最大化最小化(MM)アルゴリズムによって提案される。 本研究は,全データセットから集中的に構築した大域的推定器と比較して,その性能を示す実験について,提案手法の統計的および数値的性質について検討する。 いくつかの状況では、同等のパフォーマンスで計算時間は10倍以上高速である。 ソースコードはgithubで公開されている。

関連論文リスト

• Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
  ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。 モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。 また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-08T14:25:46Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Distributed Nonparametric Estimation under Communication Constraints [0.0]
  通信制約下での分散推定の振る舞いを理解するための一般的なフレームワークを提供する。 分散回帰, 密度推定, 分類, ポアソン回帰, ボラティリティ推定モデルにおいて, 最小値と一致する上限を導出する。
  論文  参考訳（メタデータ） (2022-04-21T19:04:50Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Distributed Learning of Finite Gaussian Mixtures [21.652015112462]
  有限ガウス混合系の分散学習における分割・対数アプローチについて検討する。 新しい推定器は整合性を示し、いくつかの一般的な条件下ではルート-nの整合性を保持する。 シミュレーションおよび実世界のデータに基づく実験により、提案手法はグローバル推定器と同等の統計的性能を有することが示された。
  論文  参考訳（メタデータ） (2020-10-20T16:17:47Z)
• Distributionally Robust Local Non-parametric Conditional Estimation [22.423052432220235]
  非パラメトリックな局所推定を生成する分布安定な新しい推定器を提案する。 一般には難解であるにもかかわらず、局所推定器は凸最適化によって効率的に見つけることができることを示す。 合成およびMNISTデータセットを用いた実験は、この新しいクラスの推定器の競合性能を示している。
  論文  参考訳（メタデータ） (2020-10-12T00:11:17Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。