論文の概要: Gradient Coding in Decentralized Learning for Evading Stragglers

• arxiv url: http://arxiv.org/abs/2402.04193v3
• Date: Fri, 14 Jun 2024 13:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:14:16.719099
• Title: Gradient Coding in Decentralized Learning for Evading Stragglers
• Title（参考訳）: 分散学習におけるゆらぎ回避のためのグラディエント符号化
• Authors: Chengxi Li, Mikael Skoglund,
• Abstract要約: 勾配符号化(GOCO)を用いた新しいゴシップ型分散学習法を提案する。 ストラグラーの負の影響を避けるため、パラメータベクトルは勾配符号化の枠組みに基づいて符号化された勾配を用いて局所的に更新される。 強い凸損失関数に対するGOCOの収束性能を解析する。
• 参考スコア（独自算出の注目度）: 27.253728528979572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider a decentralized learning problem in the presence of stragglers. Although gradient coding techniques have been developed for distributed learning to evade stragglers, where the devices send encoded gradients with redundant training data, it is difficult to apply those techniques directly to decentralized learning scenarios. To deal with this problem, we propose a new gossip-based decentralized learning method with gradient coding (GOCO). In the proposed method, to avoid the negative impact of stragglers, the parameter vectors are updated locally using encoded gradients based on the framework of stochastic gradient coding and then averaged in a gossip-based manner. We analyze the convergence performance of GOCO for strongly convex loss functions. And we also provide simulation results to demonstrate the superiority of the proposed method in terms of learning performance compared with the baseline methods.
• Abstract（参考訳）: 本稿では,トラグラーの存在下での分散学習問題について考察する。 分散学習のための勾配符号化技術は、冗長なトレーニングデータでエンコードされた勾配を送信するストラグラーを回避するために開発されているが、これらの手法を分散学習シナリオに直接適用することは困難である。 この問題に対処するために,勾配符号化(GOCO)を用いた新しいゴシップ型分散学習手法を提案する。 提案手法では, ストラグラーの負の影響を避けるために, 確率勾配符号化の枠組みに基づくエンコード勾配を用いてパラメータベクトルを局所的に更新し, ゴシップ方式で平均化する。 強い凸損失関数に対するGOCOの収束性能を解析する。 また,提案手法がベースライン法と比較して学習性能に優れていることを示すため,シミュレーション結果も提供する。

関連論文リスト

• Distributed Learning based on 1-Bit Gradient Coding in the Presence of Stragglers [27.253728528979572]
  ストラグラーの存在下での勾配学習の問題点を考察する。 1ビット勾配符号化(1ビットGCDL)に基づく新しいDL法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T06:48:40Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Wyner-Ziv Gradient Compression for Federated Learning [4.619828919345114]
  グラディエント圧縮は, 圧縮勾配を伝送することで通信負荷を低減する効果的な方法である。 本稿では、歴史的勾配を用いて勾配を圧縮するフェデレート学習のための実用的な勾配圧縮手法を提案する。 また、実際のデータセットに勾配量子化法を実装し、提案手法の性能は従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-11-16T07:55:43Z)
• Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
  本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。 画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-06-22T05:06:56Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。