論文の概要: Design and Optimization of Hierarchical Gradient Coding for Distributed Learning at Edge Devices
- arxiv url: http://arxiv.org/abs/2406.10831v1
- Date: Sun, 16 Jun 2024 07:52:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 20:31:44.415466
- Title: Design and Optimization of Hierarchical Gradient Coding for Distributed Learning at Edge Devices
- Title（参考訳）: エッジデバイスにおける分散学習のための階層型勾配符号化の設計と最適化
- Authors: Weiheng Tang, Jingyi Li, Lin Chen, Xu Chen,
- Abstract要約: 本稿では,エッジノードからなる付加層を用いた階層型分散学習システムにおいて,ストラグラー効果を緩和する問題について検討する。
より優れたストラグラー緩和を実現する階層的勾配符号化フレームワークを提案する。
最適戦略を出力することにより,問題を数学的に解く効率的なアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 18.77845142335398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Edge computing has recently emerged as a promising paradigm to boost the performance of distributed learning by leveraging the distributed resources at edge nodes. Architecturally, the introduction of edge nodes adds an additional intermediate layer between the master and workers in the original distributed learning systems, potentially leading to more severe straggler effect. Recently, coding theory-based approaches have been proposed for stragglers mitigation in distributed learning, but the majority focus on the conventional workers-master architecture. In this paper, along a different line, we investigate the problem of mitigating the straggler effect in hierarchical distributed learning systems with an additional layer composed of edge nodes. Technically, we first derive the fundamental trade-off between the computational loads of workers and the stragglers tolerance. Then, we propose a hierarchical gradient coding framework, which provides better stragglers mitigation, to achieve the derived computational trade-off. To further improve the performance of our framework in heterogeneous scenarios, we formulate an optimization problem with the objective of minimizing the expected execution time for each iteration in the learning process. We develop an efficient algorithm to mathematically solve the problem by outputting the optimum strategy. Extensive simulation results demonstrate the superiority of our schemes compared with conventional solutions.
- Abstract（参考訳）: エッジコンピューティングは、エッジノードの分散リソースを活用することにより、分散学習のパフォーマンスを高めるための有望なパラダイムとして最近登場した。
アーキテクチャ上、エッジノードの導入は、元の分散学習システムにおけるマスタとワーカの間に追加の中間層を追加し、より厳しいトラグラー効果をもたらす可能性がある。
近年,分散学習におけるストラグラー緩和のための符号化理論に基づく手法が提案されているが,その大半は従来のワーカマスターアーキテクチャに重点を置いている。
本稿では,エッジノードからなる付加層を用いた階層型分散学習システムにおいて,トラグル効果を緩和する問題について検討する。
技術的には、まず労働者の計算負荷とストラグラー耐性の基本的なトレードオフを導出する。
そこで本研究では,より優れたストラグラー緩和を実現する階層的勾配符号化フレームワークを提案する。
不均一なシナリオにおけるフレームワークの性能をさらに向上するため、学習過程における各イテレーションの実行時間を最小化する目的で最適化問題を定式化する。
最適戦略を出力することにより,問題を数学的に解く効率的なアルゴリズムを開発した。
シミュレーションの結果,従来の手法に比べ,提案手法の優位性を示した。
関連論文リスト
- Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。
我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。
提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文 参考訳（メタデータ） (2024-09-21T15:30:43Z) - Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。
提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
論文 参考訳（メタデータ） (2024-06-12T17:53:28Z) - GRAWA: Gradient-based Weighted Averaging for Distributed Training of
Deep Learning Models [9.377424534371727]
時間制約環境における深層モデルの分散トレーニングについて検討する。
本稿では,労働者の平均値として計算された中心変数に対して,労働者を定期的に引き出すアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T04:22:34Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Layer Collaboration in the Forward-Forward Algorithm [28.856139738073626]
フォワードフォワードアルゴリズムにおける層間協調について検討する。
ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。
ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
論文 参考訳（メタデータ） (2023-05-21T08:12:54Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Federated Learning with a Sampling Algorithm under Isoperimetry [9.990687944474738]
フェデレーション学習は、機械学習アルゴリズムのトレーニングを複数のデバイスに効率的に分散するために、一連のテクニックを使用する。
本稿では,Langevinvin のサンプル Aafteri の通信効率のよい変種を提案する。
論文 参考訳（メタデータ） (2022-06-02T08:19:03Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。