論文の概要: Consensus Control for Decentralized Deep Learning

• arxiv url: http://arxiv.org/abs/2102.04828v1
• Date: Tue, 9 Feb 2021 13:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-11 00:01:52.780308
• Title: Consensus Control for Decentralized Deep Learning
• Title（参考訳）: 分散型深層学習のためのコンセンサス制御
• Authors: Lingjing Kong, Tao Lin, Anastasia Koloskova, Martin Jaggi, Sebastian U. Stich
• Abstract要約: ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。 理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。 私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
• 参考スコア（独自算出の注目度）: 72.50487751271069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized training of deep learning models enables on-device learning over networks, as well as efficient scaling to large compute clusters. Experiments in earlier works reveal that, even in a data-center setup, decentralized training often suffers from the degradation in the quality of the model: the training and test performance of models trained in a decentralized fashion is in general worse than that of models trained in a centralized fashion, and this performance drop is impacted by parameters such as network size, communication topology and data partitioning. We identify the changing consensus distance between devices as a key parameter to explain the gap between centralized and decentralized training. We show in theory that when the training consensus distance is lower than a critical quantity, decentralized training converges as fast as the centralized counterpart. We empirically validate that the relation between generalization performance and consensus distance is consistent with this theoretical observation. Our empirical insights allow the principled design of better decentralized training schemes that mitigate the performance drop. To this end, we propose practical training guidelines for the data-center setup as the important first step.
• Abstract（参考訳）: ディープラーニングモデルの分散トレーニングは、ネットワーク上でのオンデバイス学習と、大規模なコンピューティングクラスタへの効率的なスケーリングを可能にする。 分散的な方法でトレーニングされたモデルのトレーニングとテストのパフォーマンスは、一般的に中央集権的な方法でトレーニングされたモデルのトレーニングとテストのパフォーマンスよりも悪く、このパフォーマンス低下は、ネットワークサイズや通信トポロジ、データパーティショニングといったパラメータの影響を受けます。 集中型トレーニングと分散型トレーニングのギャップを説明するための重要なパラメータとして,デバイス間のコンセンサス距離の変化を同定する。 理論上は, 訓練コンセンサス距離が臨界量よりも低い場合, 分散訓練は集中学習と同等の速さで収束する。 本研究では,一般化性能とコンセンサス距離の関係が,この理論的観察と一致することを実証した。 当社の実証的な洞察は、パフォーマンス低下を緩和するより良い分散型トレーニングスキームの原則化された設計を可能にします。 そこで本研究では,データセンタ構築のための実践的トレーニングガイドラインを第1ステップとして提案する。

関連論文リスト

• From promise to practice: realizing high-performance decentralized training [8.955918346078935]
  ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
  論文  参考訳（メタデータ） (2024-10-15T19:04:56Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• AdaGossip: Adaptive Consensus Step-size for Decentralized Deep Learning with Communication Compression [11.290935303784208]
  AdaGossipは、隣り合うエージェント間の圧縮モデルの違いに基づいて、コンセンサスのサイズを適応的に調整する新しい手法である。 提案手法は,通信圧縮による分散学習における最先端の手法と比較して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-04-09T00:43:45Z)
• Initialisation and Network Effects in Decentralised Federated Learning [1.5961625979922607]
  分散フェデレーション学習は、通信デバイスの分散ネットワーク上で、個々の機械学習モデルの協調トレーニングを可能にする。 このアプローチは、集中的な調整を避け、データのプライバシを高め、単一障害点のリスクを取り除く。 本稿では,基盤となる通信ネットワークの固有ベクトル集中度分布に基づく,ニューラルネットワークの非協調初期化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-23T14:24:36Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Event-Triggered Decentralized Federated Learning over Resource-Constrained Edge Devices [12.513477328344255]
  Federated Learning (FL)は分散機械学習(ML)のための技術である 従来のFLアルゴリズムでは、エッジで訓練されたモデルを中央サーバに定期的に送信して集約する。 我々は、デバイスが協調的なコンセンサス形成を通じてモデルアグリゲーションを行う完全分散FLのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-11-23T00:04:05Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。