論文の概要: Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data

• arxiv url: http://arxiv.org/abs/2102.04761v1
• Date: Tue, 9 Feb 2021 11:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 23:09:01.802630
• Title: Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data
• Title（参考訳）: 準グローバルモーメント:異種データによる分散ディープラーニングの加速
• Authors: Tao Lin, Sai Praneeth Karimireddy, Sebastian U. Stich, Martin Jaggi
• Abstract要約: ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 77.88594632644347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized training of deep learning models is a key element for enabling data privacy and on-device learning over networks. In realistic learning scenarios, the presence of heterogeneity across different clients' local datasets poses an optimization challenge and may severely deteriorate the generalization performance. In this paper, we investigate and identify the limitation of several decentralized optimization algorithms for different degrees of data heterogeneity. We propose a novel momentum-based method to mitigate this decentralized training difficulty. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10, ImageNet, AG News, and SST2) and several network topologies (Ring and Social Network) that our method is much more robust to the heterogeneity of clients' data than other existing methods, by a significant improvement in test performance ($1\% \!-\! 20\%$).
• Abstract（参考訳）: ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとオンデバイス学習を可能にする上で重要な要素だ。 現実的な学習シナリオでは、異なるクライアントのローカルデータセット間の異種性の存在は最適化の課題を引き起こし、一般化のパフォーマンスを著しく低下させる可能性があります。 本論文では,複数の分散最適化アルゴリズムの異なるデータ不均質性に対する限界について検討し,特定する。 分散学習の難易度を緩和する新しい運動量ベース手法を提案する。 各種CV/NLPデータセット(CIFAR-10, ImageNet, AG News, SST2)およびいくつかのネットワークトポロジ(Ring and Social Network)において、我々の手法は既存の手法よりもクライアントのデータの不均一性に対してより堅牢であることを示す。 20\%$).

関連論文リスト

• NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel [27.92271597111756]
  Decentralized Federated Learning (DFL) は、中央サーバや生のデータ交換なしで参加者間でモデルをトレーニングするための、協調的な機械学習フレームワークである。 近年の研究では、集中型フレームワークにおけるフェデレーション学習に適用されたニューラルタンジェントカーネル(NTK)アプローチが、パフォーマンスの向上につながることが示されている。 本稿では,NTKベースの進化とモデル平均化の相乗効果を導入しながら,分散環境でクライアントモデルを訓練するためにNTKを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-02T18:19:28Z)
• Efficient Cluster Selection for Personalized Federated Learning: A Multi-Armed Bandit Approach [2.5477011559292175]
  フェデレートラーニング(FL)は、データプライバシを優先する、マシンラーニングモデルのための分散トレーニングアプローチを提供する。 本稿では,マルチアームバンディット(MAB)アプローチに触発された動的アッパー信頼境界(dUCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-29T16:46:50Z)
• Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data [8.946847190099206]
  異種データに基づく分散学習のための新しい手法を提案する。 一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。 実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-24T14:48:23Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Global Update Tracking: A Decentralized Learning Algorithm for Heterogeneous Data [14.386062807300666]
  本稿では,デバイス間のデータ分散の変化の影響を受けにくい分散学習アルゴリズムの設計に焦点をあてる。 我々は,分散学習における異種データの影響を,通信オーバーヘッドを伴わずに緩和することを目的とした,新たなトラッキングベース手法であるGUTを提案する。 提案手法は,既存手法と比較して1～6%の精度向上により,異種データの分散学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-08T15:48:53Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。