論文の概要: Toward Communication Efficient Adaptive Gradient Method

• arxiv url: http://arxiv.org/abs/2109.05109v1
• Date: Fri, 10 Sep 2021 21:14:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-18 19:59:14.195488
• Title: Toward Communication Efficient Adaptive Gradient Method
• Title（参考訳）: 通信効率のよい適応勾配法を目指して
• Authors: Xiangyi Chen, Xiaoyun Li, Ping Li
• Abstract要約: 近年、分散最適化は、ディープニューラルネットワークのような大規模機械学習モデルのトレーニングを加速するための効果的なアプローチであることが証明されている。 モバイルデバイス上で機械学習モデルをトレーニングする上で,フェデレートラーニングと呼ばれる新たな分散トレーニングパラダイムが人気を博している。 本稿では,連合学習における収束とコミュニケーション効率の両立を保証できる適応的勾配法を提案する。
• 参考スコア（独自算出の注目度）: 29.02154169980269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, distributed optimization is proven to be an effective approach to accelerate training of large scale machine learning models such as deep neural networks. With the increasing computation power of GPUs, the bottleneck of training speed in distributed training is gradually shifting from computation to communication. Meanwhile, in the hope of training machine learning models on mobile devices, a new distributed training paradigm called ``federated learning'' has become popular. The communication time in federated learning is especially important due to the low bandwidth of mobile devices. While various approaches to improve the communication efficiency have been proposed for federated learning, most of them are designed with SGD as the prototype training algorithm. While adaptive gradient methods have been proven effective for training neural nets, the study of adaptive gradient methods in federated learning is scarce. In this paper, we propose an adaptive gradient method that can guarantee both the convergence and the communication efficiency for federated learning.
• Abstract（参考訳）: 近年、分散最適化は、ディープニューラルネットワークのような大規模機械学習モデルのトレーニングを加速するための効果的なアプローチであることが証明されている。 GPUの計算能力の増大に伴い、分散トレーニングにおけるトレーニング速度のボトルネックは、徐々に計算から通信へとシフトしている。 一方,モバイルデバイス上で機械学習モデルをトレーニングする上で,‘フェデレーション学習’と呼ばれる新たな分散トレーニングパラダイムが普及している。 連合学習における通信時間は,モバイルデバイスの帯域幅の低さから特に重要である。 フェデレート学習のためのコミュニケーション効率向上のための様々な手法が提案されているが、そのほとんどはSGDを原型学習アルゴリズムとして設計されている。 適応勾配法はニューラルネットワークの訓練に有効であることが証明されているが、連合学習における適応勾配法の研究は少ない。 本稿では,フェデレート学習における収束性と通信効率の両立を保証できる適応的勾配法を提案する。

関連論文リスト

• Local Methods with Adaptivity via Scaling [38.99428012275441]
  本稿では,局所的な学習手法と適応的アプローチを融合して,効率的な分散学習手法を開発することを目的とする。 従来のローカルSGD法について検討し,スケーリング機能により拡張する。 理論的解析に加えて,ニューラルネットワークのトレーニングにより,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-02T19:50:05Z)
• Adaptive Compression-Aware Split Learning and Inference for Enhanced Network Efficiency [8.863196307297692]
  本研究では,適応型圧縮対応分割学習法(deprune)を開発し,深層学習モデルの改良と訓練を行う。 分割学習手法と比較してネットワーク利用率を4倍に削減できることを示す。 また,「プルー」法は,精度に影響を与えることなく,特定のモデルのトレーニング時間を最大6倍に短縮できることを示す。
  論文  参考訳（メタデータ） (2023-11-09T20:52:36Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Efficient and Effective Augmentation Strategy for Adversarial Training [48.735220353660324]
  ディープニューラルネットワークの敵対的トレーニングは、標準トレーニングよりもはるかにデータ処理が難しいことが知られている。 本稿では,DAJAT(Diverse Augmentation-based Joint Adversarial Training)を提案する。
  論文  参考訳（メタデータ） (2022-10-27T10:59:55Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。