論文の概要: AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
- arxiv url: http://arxiv.org/abs/2112.13935v1
- Date: Mon, 27 Dec 2021 23:20:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 15:47:00.412128
- Title: AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
- Title(参考訳): AET-SGD:非同期イベントトリガー型確率勾配
- Authors: Nhuong Nguyen, Song Han
- Abstract要約: 効果的な分散学習アルゴリズムの設計において、通信コストが主なボトルネックとなっている。
本稿では,AET-SGD(Asynchronous Event-Triggered Gradient Descent)フレームワークを提案する。
AET-SGD はトラグラーノードから大きな遅延に耐えることができ、良好な性能と所望のスピードアップ比が得られることを示す。
- 参考スコア(独自算出の注目度): 10.029039979947798
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Communication cost is the main bottleneck for the design of effective
distributed learning algorithms. Recently, event-triggered techniques have been
proposed to reduce the exchanged information among compute nodes and thus
alleviate the communication cost. However, most existing event-triggered
approaches only consider heuristic event-triggered thresholds. They also ignore
the impact of computation and network delay, which play an important role on
the training performance. In this paper, we propose an Asynchronous
Event-triggered Stochastic Gradient Descent (SGD) framework, called AET-SGD, to
i) reduce the communication cost among the compute nodes, and ii) mitigate the
impact of the delay. Compared with baseline event-triggered methods, AET-SGD
employs a linear increasing sample size event-triggered threshold, and can
significantly reduce the communication cost while keeping good convergence
performance. We implement AET-SGD and evaluate its performance on multiple
representative data sets, including MNIST, FashionMNIST, KMNIST and CIFAR10.
The experimental results validate the correctness of the design and show a
significant communication cost reduction from 44x to 120x, compared to the
state of the art. Our results also show that AET-SGD can resist large delay
from the straggler nodes while obtaining a decent performance and a desired
speedup ratio.
- Abstract(参考訳): 効果的な分散学習アルゴリズムを設計する上で,通信コストが大きなボトルネックとなっている。
近年,計算ノード間の情報交換を削減し,通信コストの軽減を図るイベントトリガー手法が提案されている。
しかしながら、既存のイベントトリガードアプローチのほとんどは、ヒューリスティックなイベントトリガードしきい値のみを考慮する。
また、トレーニングのパフォーマンスに重要な役割を果たす計算とネットワーク遅延の影響も無視する。
本稿では,AET-SGD(Asynchronous Event-Triggered Stochastic Gradient Descent)フレームワークを提案する。
一 計算ノード間の通信コストの削減、及び
二 遅延の影響を軽減すること。
AET-SGDは, ベースラインのイベントトリガー方式と比較して, サンプリングサイズを線形に増加させ, コンバージェンス性能を維持しつつ通信コストを大幅に削減することができる。
我々は、AET-SGDを実装し、MNIST、FashionMNIST、KMNIST、CIFAR10を含む複数の代表データセットの性能を評価する。
実験により, 設計の正しさを検証し, 技術状況と比較して, 通信コストを44倍から120倍に低減した。
また, AET-SGDは, 良好な性能と所望のスピードアップ比を得ながら, ストラグラーノードからの大きな遅延に抵抗できることを示した。
関連論文リスト
- Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z) - Robust Fully-Asynchronous Methods for Distributed Training over General
Architecture [12.271245147370202]
分散機械学習問題における完全な同期は、レイテンシ、パッケージの損失、ストラグラーの存在のため、非効率であり、不可能である。
本稿では,R-FAST (Fully-Asynchronous Gradient Tracking Method) を提案する。
論文 参考訳(メタデータ) (2023-07-21T14:36:40Z) - Semantic Communication Enabling Robust Edge Intelligence for
Time-Critical IoT Applications [87.05763097471487]
本稿では、時間クリティカルなIoTアプリケーションのためのセマンティック通信を用いて、堅牢なエッジインテリジェンスを設計することを目的とする。
本稿では,画像DCT係数が推定精度に与える影響を解析し,オフロードのためのチャネル非依存の有効性符号化を提案する。
論文 参考訳(メタデータ) (2022-11-24T20:13:17Z) - Truncated tensor Schatten p-norm based approach for spatiotemporal
traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。
本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文 参考訳(メタデータ) (2022-05-19T08:37:56Z) - OFedQIT: Communication-Efficient Online Federated Learning via
Quantization and Intermittent Transmission [7.6058140480517356]
オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。
本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。
分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
論文 参考訳(メタデータ) (2022-05-13T07:46:43Z) - AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。
AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文 参考訳(メタデータ) (2022-03-31T16:21:12Z) - Semi-Decentralized Federated Edge Learning with Data and Device
Heterogeneity [6.341508488542275]
フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。
本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。
効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
論文 参考訳(メタデータ) (2021-12-20T03:06:08Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - FedAT: A High-Performance and Communication-Efficient Federated Learning
System with Asynchronous Tiers [22.59875034596411]
非i.d.データに基づく非同期タイアを用いた新しいフェデレーション学習手法であるFederated Learning法であるFedATを提案する。
FedATは、収束速度とテスト精度を改善したストラグラー効果を最小化する。
その結果、FedATは予測性能を最大21.09%改善し、最先端FL法と比較して通信コストを最大8.5倍削減した。
論文 参考訳(メタデータ) (2020-10-12T18:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。