論文の概要: Consensus Control for Decentralized Deep Learning
- arxiv url: http://arxiv.org/abs/2102.04828v1
- Date: Tue, 9 Feb 2021 13:58:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-11 00:01:52.780308
- Title: Consensus Control for Decentralized Deep Learning
- Title(参考訳): 分散型深層学習のためのコンセンサス制御
- Authors: Lingjing Kong, Tao Lin, Anastasia Koloskova, Martin Jaggi, Sebastian
U. Stich
- Abstract要約: ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。
理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。
私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
- 参考スコア(独自算出の注目度): 72.50487751271069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized training of deep learning models enables on-device learning
over networks, as well as efficient scaling to large compute clusters.
Experiments in earlier works reveal that, even in a data-center setup,
decentralized training often suffers from the degradation in the quality of the
model: the training and test performance of models trained in a decentralized
fashion is in general worse than that of models trained in a centralized
fashion, and this performance drop is impacted by parameters such as network
size, communication topology and data partitioning.
We identify the changing consensus distance between devices as a key
parameter to explain the gap between centralized and decentralized training. We
show in theory that when the training consensus distance is lower than a
critical quantity, decentralized training converges as fast as the centralized
counterpart. We empirically validate that the relation between generalization
performance and consensus distance is consistent with this theoretical
observation. Our empirical insights allow the principled design of better
decentralized training schemes that mitigate the performance drop. To this end,
we propose practical training guidelines for the data-center setup as the
important first step.
- Abstract(参考訳): ディープラーニングモデルの分散トレーニングは、ネットワーク上でのオンデバイス学習と、大規模なコンピューティングクラスタへの効率的なスケーリングを可能にする。
分散的な方法でトレーニングされたモデルのトレーニングとテストのパフォーマンスは、一般的に中央集権的な方法でトレーニングされたモデルのトレーニングとテストのパフォーマンスよりも悪く、このパフォーマンス低下は、ネットワークサイズや通信トポロジ、データパーティショニングといったパラメータの影響を受けます。
集中型トレーニングと分散型トレーニングのギャップを説明するための重要なパラメータとして,デバイス間のコンセンサス距離の変化を同定する。
理論上は, 訓練コンセンサス距離が臨界量よりも低い場合, 分散訓練は集中学習と同等の速さで収束する。
本研究では,一般化性能とコンセンサス距離の関係が,この理論的観察と一致することを実証した。
当社の実証的な洞察は、パフォーマンス低下を緩和するより良い分散型トレーニングスキームの原則化された設計を可能にします。
そこで本研究では,データセンタ構築のための実践的トレーニングガイドラインを第1ステップとして提案する。
関連論文リスト
- Scheduling and Communication Schemes for Decentralized Federated
Learning [0.31410859223862103]
勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。
DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。
その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2023-11-27T17:35:28Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Event-Triggered Decentralized Federated Learning over
Resource-Constrained Edge Devices [12.513477328344255]
Federated Learning (FL)は分散機械学習(ML)のための技術である
従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。
我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
論文 参考訳(メタデータ) (2022-11-23T00:04:05Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳(メタデータ) (2022-06-02T20:19:51Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:57:51Z) - Optimising cost vs accuracy of decentralised analytics in fog computing
environments [0.4898659895355355]
Fog Computingの基本概念であるデータ重力は、データ分析のための計算の分散化に向けられている。
本稿では,この連続体の最適動作点を求める分析フレームワークを提案する。
シミュレーションにより,モデルが最適トレードオフを正確に予測できることを示し,完全集中化と完全分散化の中間点となることが多い。
論文 参考訳(メタデータ) (2020-12-09T19:05:44Z) - Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。
本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。
本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
論文 参考訳(メタデータ) (2020-10-21T17:39:52Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳(メタデータ) (2020-08-24T13:23:02Z) - Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。
モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。
本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-23T18:25:39Z) - Gradient tracking and variance reduction for decentralized optimization
and machine learning [19.54092620537586]
有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。
分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
論文 参考訳(メタデータ) (2020-02-13T07:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。