論文の概要: AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2112.13935v1
• Date: Mon, 27 Dec 2021 23:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-30 15:47:00.412128
• Title: AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
• Title（参考訳）: AET-SGD:非同期イベントトリガー型確率勾配
• Authors: Nhuong Nguyen, Song Han
• Abstract要約: 効果的な分散学習アルゴリズムの設計において、通信コストが主なボトルネックとなっている。 本稿では,AET-SGD(Asynchronous Event-Triggered Gradient Descent)フレームワークを提案する。 AET-SGD はトラグラーノードから大きな遅延に耐えることができ、良好な性能と所望のスピードアップ比が得られることを示す。
• 参考スコア（独自算出の注目度）: 10.029039979947798
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Communication cost is the main bottleneck for the design of effective distributed learning algorithms. Recently, event-triggered techniques have been proposed to reduce the exchanged information among compute nodes and thus alleviate the communication cost. However, most existing event-triggered approaches only consider heuristic event-triggered thresholds. They also ignore the impact of computation and network delay, which play an important role on the training performance. In this paper, we propose an Asynchronous Event-triggered Stochastic Gradient Descent (SGD) framework, called AET-SGD, to i) reduce the communication cost among the compute nodes, and ii) mitigate the impact of the delay. Compared with baseline event-triggered methods, AET-SGD employs a linear increasing sample size event-triggered threshold, and can significantly reduce the communication cost while keeping good convergence performance. We implement AET-SGD and evaluate its performance on multiple representative data sets, including MNIST, FashionMNIST, KMNIST and CIFAR10. The experimental results validate the correctness of the design and show a significant communication cost reduction from 44x to 120x, compared to the state of the art. Our results also show that AET-SGD can resist large delay from the straggler nodes while obtaining a decent performance and a desired speedup ratio.
• Abstract（参考訳）: 効果的な分散学習アルゴリズムを設計する上で,通信コストが大きなボトルネックとなっている。 近年,計算ノード間の情報交換を削減し,通信コストの軽減を図るイベントトリガー手法が提案されている。 しかしながら、既存のイベントトリガードアプローチのほとんどは、ヒューリスティックなイベントトリガードしきい値のみを考慮する。 また、トレーニングのパフォーマンスに重要な役割を果たす計算とネットワーク遅延の影響も無視する。 本稿では,AET-SGD(Asynchronous Event-Triggered Stochastic Gradient Descent)フレームワークを提案する。 一 計算ノード間の通信コストの削減、及び 二 遅延の影響を軽減すること。 AET-SGDは, ベースラインのイベントトリガー方式と比較して, サンプリングサイズを線形に増加させ, コンバージェンス性能を維持しつつ通信コストを大幅に削減することができる。 我々は、AET-SGDを実装し、MNIST、FashionMNIST、KMNIST、CIFAR10を含む複数の代表データセットの性能を評価する。 実験により, 設計の正しさを検証し, 技術状況と比較して, 通信コストを44倍から120倍に低減した。 また, AET-SGDは, 良好な性能と所望のスピードアップ比を得ながら, ストラグラーノードからの大きな遅延に抵抗できることを示した。

関連論文リスト

• CoSTI: Consistency Models for (a faster) Spatio-Temporal Imputation [0.0]
  CoSTIは、推論時間を劇的に削減しつつ、DDPMに匹敵する計算品質を達成するために一貫性トレーニングを採用している。 複数のデータセットとデータシナリオをまたいだCoSTIを評価し、拡散モデルと同等のパフォーマンスで、計算時間を最大98%削減することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:14:28Z)
• Communication-Efficient Federated Learning by Quantized Variance Reduction for Heterogeneous Wireless Edge Networks [55.467288506826755]
  フェデレーテッド・ラーニング(FL)は、無線エッジネットワークにおけるローカル・プライバシ・アウェア・コラボレーティブ・モデルトレーニングの有効なソリューションとして認識されている。 既存の通信効率の高いFLアルゴリズムは、デバイス間の大きなばらつきを低減できない。 本稿では,高度分散還元方式に依存する新しい通信効率FLアルゴリズムであるFedQVRを提案する。
  論文  参考訳（メタデータ） (2025-01-20T04:26:21Z)
• Towards Effective, Efficient and Unsupervised Social Event Detection in the Hyperbolic Space [54.936897625837474]
  この記事では、教師なしフレームワークHyperSED(Hyperbolic SED)を紹介します。 具体的には、まずソーシャルメッセージをセマンティックベースのメッセージアンカーにモデル化し、次にアンカーグラフの構造を利用する。 公開データセットの実験では、HyperSEDの競合性能と、大幅な効率向上が示されている。
  論文  参考訳（メタデータ） (2024-12-14T06:55:27Z)
• ORCHID: Streaming Threat Detection over Versioned Provenance Graphs [11.783370157959968]
  本稿では,リアルタイムイベントストリーム上でプロセスレベルの脅威を詳細に検出する新しいProv-IDSであるORCHIDを提案する。 ORCHIDは、バージョン付き前処理グラフのユニークな不変特性を利用して、グラフ全体を逐次RNNモデルに反復的に埋め込む。 我々は、DARPA TCを含む4つの公開データセット上でORCHIDを評価し、ORCHIDが競合する分類性能を提供できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T19:44:40Z)
• TCGPN: Temporal-Correlation Graph Pre-trained Network for Stock Forecasting [1.864621482724548]
  本稿では,これらの制約に対処するため,TCGPN(Temporal-Correlation Graph Pre-trained Network)と呼ばれる新しい手法を提案する。 TCGPNはテンポラル相関融合エンコーダを用いて,時間的および相関的な事前学習タスクを慎重に設計した混合表現と事前学習を行う。 CSI300とCSI500は、最小限の周期性を示す。
  論文  参考訳（メタデータ） (2024-07-26T05:27:26Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
  オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。 本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。 分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T07:46:43Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。