論文の概要: The effect of network topologies on fully decentralized learning: a preliminary investigation

• arxiv url: http://arxiv.org/abs/2307.15947v1
• Date: Sat, 29 Jul 2023 09:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 18:35:27.465993
• Title: The effect of network topologies on fully decentralized learning: a preliminary investigation
• Title（参考訳）: ネットワークトポロジが完全分散学習に及ぼす影響:予備的検討
• Authors: Luigi Palmieri, Lorenzo Valerio, Chiara Boldrini and Andrea Passarella
• Abstract要約: 分散機械学習システムでは、データは複数のデバイスまたはノードに分割され、それぞれが独自のデータを使用してローカルモデルをトレーニングする。 異なるタイプのトポロジが「知識の拡散」に与える影響について検討する。 具体的には、多かれ少なかれ連結されたノード(ハーブと葉)のこのプロセスにおける異なる役割を強調します。
• 参考スコア（独自算出の注目度）: 2.9592782993171918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a decentralized machine learning system, data is typically partitioned among multiple devices or nodes, each of which trains a local model using its own data. These local models are then shared and combined to create a global model that can make accurate predictions on new data. In this paper, we start exploring the role of the network topology connecting nodes on the performance of a Machine Learning model trained through direct collaboration between nodes. We investigate how different types of topologies impact the "spreading of knowledge", i.e., the ability of nodes to incorporate in their local model the knowledge derived by learning patterns in data available in other nodes across the networks. Specifically, we highlight the different roles in this process of more or less connected nodes (hubs and leaves), as well as that of macroscopic network properties (primarily, degree distribution and modularity). Among others, we show that, while it is known that even weak connectivity among network components is sufficient for information spread, it may not be sufficient for knowledge spread. More intuitively, we also find that hubs have a more significant role than leaves in spreading knowledge, although this manifests itself not only for heavy-tailed distributions but also when "hubs" have only moderately more connections than leaves. Finally, we show that tightly knit communities severely hinder knowledge spread.
• Abstract（参考訳）: 分散機械学習システムでは、データは複数のデバイスまたはノードに分割され、それぞれが独自のデータを使用してローカルモデルをトレーニングする。 これらのローカルモデルは共有され、新しいデータに対して正確な予測を行うグローバルモデルを作成する。 本稿では,ノード間の直接協調により学習される機械学習モデルの性能にノードを接続するネットワークトポロジの役割について検討する。 我々は,異なるタイプのトポロジが「知識の拡散」に与える影響,すなわちネットワーク上の他のノードで利用可能なデータにおける学習パターンから得られる知識を,ノードがそれぞれのローカルモデルに組み込む能力について検討する。 具体的には,多かれ少なかれ連結ノード(ハブと葉)とマクロネットワーク特性(主に次数分布とモジュラリティ)のプロセスにおける異なる役割を強調する。 中でも,ネットワークコンポーネント間の弱い接続であっても情報拡散には十分であることがわかったが,知識拡散には不十分である可能性がある。 より直感的に見れば、ハブは知識の普及において葉よりも重要な役割を担っていることが分かるが、これはそれ自体が重い尾の分布だけでなく、「ハブ」が葉よりも適度に多くのつながりを持っている場合にも現れている。 最後に、密に編まれたコミュニティが知識の拡散を著しく妨げていることを示す。

関連論文リスト

• Impact of network topology on the performance of Decentralized Federated Learning [4.618221836001186]
  分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。 本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。 モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
  論文  参考訳（メタデータ） (2024-02-28T11:13:53Z)
• Unsupervised Learning via Network-Aware Embeddings [0.0]
  ノード属性間のネットワーク距離を推定することにより,ネットワーク対応の埋め込みを作成する方法を示す。 提案手法は完全オープンソースであり, 論文中のすべての結果を再現するためのデータとコードは利用可能である。
  論文  参考訳（メタデータ） (2023-09-19T08:17:48Z)
• End-to-End Learning on Multimodal Knowledge Graphs [0.0]
  本稿では,グラフ構造からエンドツーエンドを学習するマルチモーダルメッセージパッシングネットワークを提案する。 我々のモデルは、専用(神経)エンコーダを使用して、5種類のモードに属するノードの特徴の埋め込みを自然に学習する。 この結果から,任意の知識グラフからエンド・ツー・エンドのマルチモーダル学習が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-09-03T13:16:18Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• The interplay between ranking and communities in networks [0.0]
  本稿では,コミュニティ構造と階層構造との相互作用に基づく生成モデルを提案する。 それぞれのノードが相互作用機構に優先順位を持ち、同じ好みを持つノードが相互作用する可能性が高いと仮定する。 本手法は, コミュニティ検出とランキング抽出の2つの標準手法と比較して, 実世界の合成データと実世界のデータを比較した。
  論文  参考訳（メタデータ） (2021-12-23T16:10:28Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• From Federated to Fog Learning: Distributed Machine Learning over Heterogeneous Wireless Networks [71.23327876898816]
  フェデレートラーニング(Federated Learning)は、データを収集するノード間で処理能力を活用することによって、ネットワークエッジでMLモデルをトレーニングするテクニックとして登場した。 我々は、エッジデバイスからクラウドサーバへのノード連続体にMLモデルのトレーニングをインテリジェントに分散する、フォグラーニングと呼ばれる新しい学習パラダイムを提唱する。
  論文  参考訳（メタデータ） (2020-06-07T05:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。