論文の概要: Robustness of Decentralised Learning to Nodes and Data Disruption
- arxiv url: http://arxiv.org/abs/2405.02377v1
- Date: Fri, 3 May 2024 12:14:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 20:10:00.692405
- Title: Robustness of Decentralised Learning to Nodes and Data Disruption
- Title（参考訳）: ノードへの分散学習のロバストさとデータ破壊
- Authors: Luigi Palmieri, Chiara Boldrini, Lorenzo Valerio, Andrea Passarella, Marco Conti, János Kertész,
- Abstract要約: ノードの破壊が集団学習過程に及ぼす影響について検討する。
その結果,分散学習プロセスはネットワーク破壊に対して極めて堅牢であることがわかった。
- 参考スコア（独自算出の注目度）: 4.062458976723649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the vibrant landscape of AI research, decentralised learning is gaining momentum. Decentralised learning allows individual nodes to keep data locally where they are generated and to share knowledge extracted from local data among themselves through an interactive process of collaborative refinement. This paradigm supports scenarios where data cannot leave local nodes due to privacy or sovereignty reasons or real-time constraints imposing proximity of models to locations where inference has to be carried out. The distributed nature of decentralised learning implies significant new research challenges with respect to centralised learning. Among them, in this paper, we focus on robustness issues. Specifically, we study the effect of nodes' disruption on the collective learning process. Assuming a given percentage of "central" nodes disappear from the network, we focus on different cases, characterised by (i) different distributions of data across nodes and (ii) different times when disruption occurs with respect to the start of the collaborative learning task. Through these configurations, we are able to show the non-trivial interplay between the properties of the network connecting nodes, the persistence of knowledge acquired collectively before disruption or lack thereof, and the effect of data availability pre- and post-disruption. Our results show that decentralised learning processes are remarkably robust to network disruption. As long as even minimum amounts of data remain available somewhere in the network, the learning process is able to recover from disruptions and achieve significant classification accuracy. This clearly varies depending on the remaining connectivity after disruption, but we show that even nodes that remain completely isolated can retain significant knowledge acquired before the disruption.
- Abstract（参考訳）: AI研究の活況の中では、分散学習が勢いを増している。
分散学習により、個々のノードは、生成したデータをローカルに保持し、コラボレーティブリファインメントのインタラクティブなプロセスを通じて、ローカルデータから抽出された知識を共有することができる。
このパラダイムは、プライバシや主権上の理由からデータがローカルノードを離れることができないシナリオや、推論が必要な場所にモデルを近接させるリアルタイム制約をサポートする。
分散学習の分散的性質は、中央集権学習に関する重要な新しい研究課題を示唆している。
その中でも、本稿ではロバストネスの問題に焦点をあてる。
具体的には,ノードの破壊が集団学習プロセスに与える影響について検討する。
ノードの特定のパーセンテージがネットワークから消えると仮定すると、我々は特徴付けられる異なるケースに焦点を当てる。
(i)ノード間のデータの分布の異なるもの
二 協調学習作業の開始に関して、混乱が発生したときの異なる時間。
これらの構成により、ネットワーク接続ノードの特性と、その破壊または欠如前に総合的に取得された知識の持続性、およびデータの可用性と破壊後の影響の間の非自明な相互作用を示すことができる。
その結果,分散学習プロセスはネットワーク破壊に対して極めて堅牢であることがわかった。
ネットワーク内のどこかで最小限のデータが利用可能である限り、学習プロセスは破壊から回復し、かなりの分類精度を達成することができる。
これは、ディスラプション後の接続性によって明らかに異なるが、完全に孤立したノードでさえ、ディスラプション前に得られた重要な知識を保持することができることを示す。
関連論文リスト
- Impact of network topology on the performance of Decentralized Federated
Learning [4.618221836001186]
分散機械学習は、インフラストラクチャの課題とプライバシの懸念に対処し、勢いを増している。
本研究では,3つのネットワークトポロジと6つのデータ分散手法を用いて,ネットワーク構造と学習性能の相互作用について検討する。
モデル集約時の希釈効果に起因する周辺ノードから中心ノードへの知識伝達の課題を強調した。
論文 参考訳（メタデータ） (2024-02-28T11:13:53Z) - Exploring the Impact of Disrupted Peer-to-Peer Communications on Fully
Decentralized Learning in Disaster Scenarios [4.618221836001186]
完全な分散学習により、複数のユーザデバイスやノードにまたがる学習リソースの分散が可能になる。
本研究では,災害環境下での分散学習におけるピアツーピアコミュニケーションに対する様々な障害の影響について検討する。
論文 参考訳（メタデータ） (2023-10-04T17:24:38Z) - Distribution Shift Matters for Knowledge Distillation with Webly
Collected Images [91.66661969598755]
異なる分布間の知識蒸留という新しい手法を提案する(KD$3$)。
まず,教師ネットワークと学生ネットワークの併用予測に基づいて,Webで収集したデータから有用なトレーニングインスタンスを動的に選択する。
また、MixDistributionと呼ばれる新しいコントラスト学習ブロックを構築して、新しい分散のインスタンスアライメントで摂動データを生成します。
論文 参考訳（メタデータ） (2023-07-21T10:08:58Z) - When Decentralized Optimization Meets Federated Learning [41.58479981773202]
フェデレーション学習は、分散データから知識を抽出するための新しい学習パラダイムである。
既存のフェデレートされた学習アプローチのほとんどは、単一ポイントの障害に対して脆弱な集中的な設定に集中しています。
この問題に対処する別の戦略は、分散化された通信トポロジである。
論文 参考訳（メタデータ） (2023-06-05T03:51:14Z) - Does Decentralized Learning with Non-IID Unlabeled Data Benefit from
Self Supervision? [51.00034621304361]
自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究
本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
論文 参考訳（メタデータ） (2022-10-20T01:32:41Z) - Homogeneous Learning: Self-Attention Decentralized Deep Learning [0.6091702876917281]
本研究では,非IIDデータに自己認識機構を持たせるために,HL(Homogeneous Learning)と呼ばれる分散学習モデルを提案する。
HLはスタンドアローンの学習と比較してパフォーマンスが向上し、トレーニングラウンド全体の50.8%、通信コスト74.6%を大幅に削減できる。
論文 参考訳（メタデータ） (2021-10-11T14:05:29Z) - RelaySum for Decentralized Deep Learning on Heterogeneous Data [71.36228931225362]
分散機械学習では、労働者はローカルデータのモデル更新を計算する。
労働者は中心的な調整なしに隣人とのみ通信するため、これらの更新はネットワーク上で徐々に伝播する。
このパラダイムは、全接続のないネットワーク上での分散トレーニングを可能にし、データのプライバシ保護と、データセンタでの分散トレーニングの通信コストの削減を支援する。
論文 参考訳（メタデータ） (2021-10-08T14:55:32Z) - Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。
理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。
私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文 参考訳（メタデータ） (2021-02-09T13:58:33Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Graph-Homomorphic Perturbations for Private Decentralized Learning [64.26238893241322]
ローカルな見積もりの交換は、プライベートデータに基づくデータの推測を可能にする。
すべてのエージェントで独立して選択された摂動により、パフォーマンスが著しく低下する。
本稿では,特定のヌル空間条件に従って摂動を構成する代替スキームを提案する。
論文 参考訳（メタデータ） (2020-10-23T10:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。