論文の概要: Asynchronous Local Computations in Distributed Bayesian Learning

• arxiv url: http://arxiv.org/abs/2311.03496v2
• Date: Sun, 7 Jan 2024 05:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 22:22:48.726819
• Title: Asynchronous Local Computations in Distributed Bayesian Learning
• Title（参考訳）: 分散ベイズ学習における非同期局所計算
• Authors: Kinjal Bhar, He Bai, Jemin George, Carl Busart
• Abstract要約: 本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。 我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
• 参考スコア（独自算出の注目度）: 8.516532665507835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the expanding scope of machine learning (ML) to the fields of sensor networking, cooperative robotics and many other multi-agent systems, distributed deployment of inference algorithms has received a lot of attention. These algorithms involve collaboratively learning unknown parameters from dispersed data collected by multiple agents. There are two competing aspects in such algorithms, namely, intra-agent computation and inter-agent communication. Traditionally, algorithms are designed to perform both synchronously. However, certain circumstances need frugal use of communication channels as they are either unreliable, time-consuming, or resource-expensive. In this paper, we propose gossip-based asynchronous communication to leverage fast computations and reduce communication overhead simultaneously. We analyze the effects of multiple (local) intra-agent computations by the active agents between successive inter-agent communications. For local computations, Bayesian sampling via unadjusted Langevin algorithm (ULA) MCMC is utilized. The communication is assumed to be over a connected graph (e.g., as in decentralized learning), however, the results can be extended to coordinated communication where there is a central server (e.g., federated learning). We theoretically quantify the convergence rates in the process. To demonstrate the efficacy of the proposed algorithm, we present simulations on a toy problem as well as on real world data sets to train ML models to perform classification tasks. We observe faster initial convergence and improved performance accuracy, especially in the low data range. We achieve on average 78% and over 90% classification accuracy respectively on the Gamma Telescope and mHealth data sets from the UCI ML repository.
• Abstract（参考訳）: 機械学習(ML)の分野がセンサネットワークやロボット工学、その他多くのマルチエージェントシステムにまで拡大しているため、推論アルゴリズムの分散展開は多くの注目を集めている。 これらのアルゴリズムは、複数のエージェントが収集した分散データから未知のパラメータを協調的に学習する。 このようなアルゴリズムには、エージェント内計算とエージェント間通信という2つの競合する側面がある。 従来、アルゴリズムは両方を同期的に実行するように設計されている。 しかしながら、ある状況では、信頼できない、時間を要する、あるいはリソースを消費する、といった理由で、コミュニケーションチャネルの粗悪な使用が必要である。 本稿では,高速計算と通信オーバヘッドを同時に低減するゴシップ型非同期通信を提案する。 連続するエージェント間通信間のアクティブエージェントによる複数の(局所)エージェント内計算の効果を解析した。 局所計算では,unadjusted langevin algorithm (ula) mcmcによるベイズサンプリングを用いる。 通信は、連結グラフ(例えば、分散学習)上で行われると仮定されるが、結果は、中央サーバ(例えば、連合学習)があるコーディネートされた通信に拡張することができる。 我々は理論的にその過程の収束率を定量化する。 提案アルゴリズムの有効性を示すために,実世界のデータセットと同様に玩具問題に対するシミュレーションを行い,分類タスクを行うためのmlモデルを訓練する。 我々は、特に低データ範囲において、高速な初期収束と性能精度の向上を観察する。 UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。

関連論文リスト

• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• DIGEST: Fast and Communication Efficient Decentralized Learning with Local Updates [4.3707341422218215]
  広く検討されている分散学習アルゴリズムは、Gossipとランダムウォークベースの学習である。 高速で通信効率のよい非同期分散学習機構DIGESTを設計する。 我々は、ロジスティック回帰とディープニューラルネットワークResNet20のためのシングルストリームおよびマルチストリームDIGESTの性能を評価する。
  論文  参考訳（メタデータ） (2023-07-14T22:58:20Z)
• A Newton-type algorithm for federated learning based on incremental Hessian eigenvector sharing [5.404315085380945]
  我々は、フェデレートラーニング(FL)を高速化するために設計された、通信制約付きニュートン型(NT)アルゴリズムを提案する。 提案手法は実際のデータセットで完全に検証される。
  論文  参考訳（メタデータ） (2022-02-11T17:52:56Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• Communication-Efficient Distributed Deep Learning: A Comprehensive Survey [22.42450750097714]
  本稿では,コミュニケーション効率のよい分散学習アルゴリズムの総合的な調査を行う。 まず,データ並列分散トレーニングアルゴリズムの分類法を提案する。 次に、これらの4次元の問題に対処する最先端の研究について検討する。
  論文  参考訳（メタデータ） (2020-03-10T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。