論文の概要: Peer-to-Peer Learning + Consensus with Non-IID Data

• arxiv url: http://arxiv.org/abs/2312.13602v1
• Date: Thu, 21 Dec 2023 06:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 15:53:22.563980
• Title: Peer-to-Peer Learning + Consensus with Non-IID Data
• Title（参考訳）: 非IIDデータによるピアツーピア学習+合意
• Authors: Srinivasa Pranav, Jos\'e M. F. Moura
• Abstract要約: ピアツーピアのディープラーニングアルゴリズムにより、分散エッジデバイスは、生のトレーニングデータを交換したり、中央サーバーに依存することなく、ディープニューラルネットワークを協調的にトレーニングすることができる。 モデルドリフトが局所訓練およびコンセンサスフェーズ後の試験性能に有意な振動をもたらすことを観察した。 次に、性能振動を増幅する要因を特定し、新たなアプローチであるAffinityを用いたP2PLが、追加の通信コストを発生させることなく、非IID環境での試験性能振動を減衰させることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Peer-to-peer deep learning algorithms are enabling distributed edge devices to collaboratively train deep neural networks without exchanging raw training data or relying on a central server. Peer-to-Peer Learning (P2PL) and other algorithms based on Distributed Local-Update Stochastic/mini-batch Gradient Descent (local DSGD) rely on interleaving epochs of training with distributed consensus steps. This process leads to model parameter drift/divergence amongst participating devices in both IID and non-IID settings. We observe that model drift results in significant oscillations in test performance evaluated after local training and consensus phases. We then identify factors that amplify performance oscillations and demonstrate that our novel approach, P2PL with Affinity, dampens test performance oscillations in non-IID settings without incurring any additional communication cost.
• Abstract（参考訳）: ピアツーピアのディープラーニングアルゴリズムにより、分散エッジデバイスは、生のトレーニングデータを交換したり、中央サーバーに依存することなく、ディープニューラルネットワークを協調的にトレーニングすることができる。 Peer-to-Peer Learning (P2PL)や他のアルゴリズムは、分散ローカル更新確率/ミニバッチのグラディエントDescent (ローカルDSGD)に基づく。 このプロセスは、IIDと非IID設定の両方で参加するデバイス間のモデルパラメータのドリフト/偏差につながる。 モデルドリフトが局所訓練およびコンセンサスフェーズ後の試験性能に有意な振動をもたらすことを観察した。 次に,性能の振動を増幅する要因を特定し,新たなアプローチであるp2plと親和性を持ち,追加の通信コストを伴わずに非iid環境におけるテスト性能の振動を弱めることを実証する。

関連論文リスト

• Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
  分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。 DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
  論文  参考訳（メタデータ） (2024-02-05T19:02:19Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• OSP: Boosting Distributed Model Training with 2-stage Synchronization [24.702780532364056]
  オーバーラップ並列化(OSP)と呼ばれる新しいモデル同期手法を提案する。 OSPは2段階同期方式で効率的な通信を実現し、Local-Gradientベースを使用する。 古いパラメータによる精度損失を避けるための修正(LGP)。 その結果、OSPは、一般的な同期モデルと比較して、精度を損なうことなく、最大50%のスループット向上を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-06-29T13:24:12Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
  フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。 本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。 効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-20T03:06:08Z)
• Semi-Decentralized Federated Edge Learning for Fast Convergence on Non-IID Data [3.983055670167878]
  フェデレーテッドエッジラーニング(FEEL)は、クラウドベースの機械学習ソリューションにおける大きな通信遅延を減らす効果的な代替手段として登場しました。 半分散フェデレーションエッジラーニング(SD-FEEL)という新しいFEELの枠組みについて検討する。 SD-FEELは、異なるエッジクラスタ間のモデルアグリゲーションを可能にすることで、トレーニングの遅延を低減し、学習パフォーマンスを向上させるFEELの利点を享受します。
  論文  参考訳（メタデータ） (2021-04-26T16:11:47Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Identity-Aware Attribute Recognition via Real-Time Distributed Inference in Mobile Edge Clouds [53.07042574352251]
  我々は、MEC対応カメラ監視システムにおいて、re-IDを用いた歩行者属性認識のための新しいモデルの設計を行う。 本稿では,属性認識と人物再IDを協調的に考慮し,分散モジュールの集合を持つ新しい推論フレームワークを提案する。 そこで我々は,提案した分散推論フレームワークのモジュール分布の学習に基づくアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-08-12T12:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。