論文の概要: BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization

• arxiv url: http://arxiv.org/abs/2011.04345v2
• Date: Fri, 19 Feb 2021 19:47:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 00:25:09.940930
• Title: BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization
• Title（参考訳）: BayGo: ベイズ学習と情報認識グラフ最適化
• Authors: Tamara Alshammari and Sumudu Samarakoon and Anis Elgabli and Mehdi Bennis
• Abstract要約: BayGoは、ベイズ学習とグラフ最適化のフレームワークである。 本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
• 参考スコア（独自算出の注目度）: 48.30183416069897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article deals with the problem of distributed machine learning, in which agents update their models based on their local datasets, and aggregate the updated models collaboratively and in a fully decentralized manner. In this paper, we tackle the problem of information heterogeneity arising in multi-agent networks where the placement of informative agents plays a crucial role in the learning dynamics. Specifically, we propose BayGo, a novel fully decentralized joint Bayesian learning and graph optimization framework with proven fast convergence over a sparse graph. Under our framework, agents are able to learn and communicate with the most informative agent to their own learning. Unlike prior works, our framework assumes no prior knowledge of the data distribution across agents nor does it assume any knowledge of the true parameter of the system. The proposed alternating minimization based framework ensures global connectivity in a fully decentralized way while minimizing the number of communication links. We theoretically show that by optimizing the proposed objective function, the estimation error of the posterior probability distribution decreases exponentially at each iteration. Via extensive simulations, we show that our framework achieves faster convergence and higher accuracy compared to fully-connected and star topology graphs.
• Abstract（参考訳）: 本稿では、エージェントが自身のローカルデータセットに基づいてモデルを更新し、アップデートされたモデルを協調的かつ完全に分散的に集約する分散機械学習の問題を扱う。 本稿では,情報エージェントの配置が学習のダイナミクスにおいて重要な役割を果たすマルチエージェントネットワークにおける情報不均一性の問題に取り組む。 具体的には,スパースグラフ上で高速収束を証明した,完全分散型ベイズ学習およびグラフ最適化フレームワークであるbaygoを提案する。 私たちのフレームワークでは、エージェントは最も情報に富むエージェントと学習し、コミュニケーションすることができる。 以前の作業とは異なり、このフレームワークはエージェント間のデータ分散に関する事前の知識を前提とせず、システムの真のパラメータに関する知識を前提としない。 提案する交互化最小化フレームワークは,通信リンク数を最小化しつつ,グローバル接続の分散化を実現する。 提案する目的関数を最適化することで,各イテレーションで後確率分布の推定誤差が指数関数的に減少することを示す。 広範なシミュレーションにより,完全連結グラフや星状トポロジグラフと比較して,より高速に収束し,高い精度が得られることを示す。

関連論文リスト

• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Distributed Estimation of Sparse Inverse Covariance Matrices [0.7832189413179361]
  分散エージェントが収集したデータからネットワーク構造をリアルタイムで学習する分散スパース逆共分散アルゴリズムを提案する。 我々のアプローチは、エージェントが望ましい構造を協調的に学習できるコンセンサス項を付加した、オンラインのグラフィカル交代最小化アルゴリズムに基づいて構築されている。
  論文  参考訳（メタデータ） (2021-09-24T15:26:41Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Jointly Optimizing Dataset Size and Local Updates in Heterogeneous Mobile Edge Learning [11.191719032853527]
  本稿では、リソース制約のある無線エッジを介して接続された学習者を対象に訓練された分散機械学習(ML)モデルの精度を最大化する。 我々は,各学習者の不均一なコミュニケーションと計算能力を考慮して,ローカル/グローバルな更新数とタスクサイズ割り当てを共同で最適化し,損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-06-12T18:19:20Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。