論文の概要: Achieving Efficient Distributed Machine Learning Using a Novel Non-Linear Class of Aggregation Functions

• arxiv url: http://arxiv.org/abs/2201.12488v1
• Date: Sat, 29 Jan 2022 03:43:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 07:57:28.658241
• Title: Achieving Efficient Distributed Machine Learning Using a Novel Non-Linear Class of Aggregation Functions
• Title（参考訳）: 新しい非線形集約関数を用いた効率的な分散機械学習の実現
• Authors: Haizhou Du, Ryan Yang, Yijian Chen, Qiao Xiang, Andre Wibisono, Wei Huang
• Abstract要約: 時間的変化のあるネットワーク上での分散機械学習(DML)は、分散化されたMLアプリケーションを開発する上で有効である。 本稿では,時間変動ネットワーク上で効率的なDMLを実現するために,モデル集約関数の非線形クラスを提案する。
• 参考スコア（独自算出の注目度）: 9.689867512720083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed machine learning (DML) over time-varying networks can be an enabler for emerging decentralized ML applications such as autonomous driving and drone fleeting. However, the commonly used weighted arithmetic mean model aggregation function in existing DML systems can result in high model loss, low model accuracy, and slow convergence speed over time-varying networks. To address this issue, in this paper, we propose a novel non-linear class of model aggregation functions to achieve efficient DML over time-varying networks. Instead of taking a linear aggregation of neighboring models as most existing studies do, our mechanism uses a nonlinear aggregation, a weighted power-p mean (WPM) where p is a positive odd integer, as the aggregation function of local models from neighbors. The subsequent optimizing steps are taken using mirror descent defined by a Bregman divergence that maintains convergence to optimality. In this paper, we analyze properties of the WPM and rigorously prove convergence properties of our aggregation mechanism. Additionally, through extensive experiments, we show that when p > 1, our design significantly improves the convergence speed of the model and the scalability of DML under time-varying networks compared with arithmetic mean aggregation functions, with little additional 26computation overhead.
• Abstract（参考訳）: 時間変動ネットワーク上の分散機械学習(dml)は、自動運転やドローンのフリーティングといった、新たな分散mlアプリケーションを実現する。 しかし、既存のDMLシステムでよく使われる重み付き算術平均モデル集約関数は、高モデル損失、低モデル精度、時間変化ネットワーク上での収束速度の低下をもたらす。 本稿では,時間変動ネットワーク上で効率的なDMLを実現するために,モデル集約関数の非線形クラスを提案する。 既存の研究と同様に,隣接モデルの線形集計を行う代わりに,p が正の奇数である重み付きパワーp平均 (wpm) を近傍の局所モデルの集計関数として用いる。 その後の最適化ステップは、最適性への収束を維持するブレグマン発散によって定義されるミラー降下を用いて行われる。 本稿では,WPMの特性を分析し,凝集機構の収束特性を厳密に証明する。 さらに, p > 1 の場合, 計算平均集約関数と比較して, モデル収束速度と DML の時間変化によるスケーラビリティを著しく改善し, 計算オーバーヘッドを26倍に抑えることができた。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
  本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。 提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。 単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
  論文  参考訳（メタデータ） (2023-10-03T01:13:17Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Generalised Latent Assimilation in Heterogeneous Reduced Spaces with Machine Learning Surrogate Models [10.410970649045943]
  我々は,低次サロゲートモデルと新しいデータ同化手法を組み合わせたシステムを開発した。 一般化された潜在同化は、低次モデリングによって提供される効率とデータ同化の精度の両方の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2022-04-07T15:13:12Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Dynamic Gaussian Mixture based Deep Generative Model For Robust Forecasting on Sparse Multivariate Time Series [43.86737761236125]
  本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。 新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。 帰納的解析を可能にするために構造化推論ネットワークも設計されている。
  論文  参考訳（メタデータ） (2021-03-03T04:10:07Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• A Generative Learning Approach for Spatio-temporal Modeling in Connected Vehicular Network [55.852401381113786]
  本稿では,コネクテッドカーの無線アクセス遅延を実現するための総合的時間品質フレームワークであるLaMI(Latency Model Inpainting)を提案する。 LaMIはイメージインペイントと合成のアイデアを採用し、2段階の手順で欠落したレイテンシサンプルを再構築することができる。 特に、パッチ方式のアプローチを用いて各地域で収集されたサンプル間の空間的相関を初めて発見し、その後、原点および高度に相関したサンプルをバラエナオートコーダ(VAE)に供給する。
  論文  参考訳（メタデータ） (2020-03-16T03:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。