Fugu-MT 論文翻訳(概要): Energy-Aware Decentralized Learning with Intermittent Model Training

論文の概要: Energy-Aware Decentralized Learning with Intermittent Model Training

arxiv url: http://arxiv.org/abs/2407.01283v1
Date: Mon, 1 Jul 2024 13:39:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 21:30:10.568249
Title: Energy-Aware Decentralized Learning with Intermittent Model Training
Title（参考訳）: 間欠的モデルトレーニングによる省エネ型分散学習
Authors: Akash Dhasade, Paolo Dini, Elia Guerra, Anne-Marie Kermarrec, Marco Miozzo, Rafael Pires, Rishi Sharma, Martijn de Vos,
Abstract要約: 分散学習(DL)は、ノードが生データを共有せず、中央サーバーの調整もせずにモデルを協調的に訓練する強力なフレームワークを提供する。本研究では,分散学習におけるエネルギー消費を最小化する新しいDLアルゴリズムであるSkipTrainについて述べる。 256ノードを用いた実験により,従来のDLアルゴリズムであるD-PSGDと比較して,SkipTrainはエネルギー消費量を50%削減し,モデル精度を最大12%向上することを示した。
参考スコア（独自算出の注目度）: 3.2236158911598123
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Decentralized learning (DL) offers a powerful framework where nodes collaboratively train models without sharing raw data and without the coordination of a central server. In the iterative rounds of DL, models are trained locally, shared with neighbors in the topology, and aggregated with other models received from neighbors. Sharing and merging models contribute to convergence towards a consensus model that generalizes better across the collective data captured at training time. In addition, the energy consumption while sharing and merging model parameters is negligible compared to the energy spent during the training phase. Leveraging this fact, we present SkipTrain, a novel DL algorithm, which minimizes energy consumption in decentralized learning by strategically skipping some training rounds and substituting them with synchronization rounds. These training-silent periods, besides saving energy, also allow models to better mix and finally produce models with superior accuracy than typical DL algorithms that train at every round. Our empirical evaluations with 256 nodes demonstrate that SkipTrain reduces energy consumption by 50% and increases model accuracy by up to 12% compared to D-PSGD, the conventional DL algorithm.
Abstract（参考訳）: 分散学習(DL)は、ノードが生データを共有せず、中央サーバーの調整もせずにモデルを協調的に訓練する強力なフレームワークを提供する。 DLの反復ラウンドでは、モデルは局所的に訓練され、トポロジーにおいて隣人と共有され、隣人から受け取った他のモデルと集約される。モデルの共有とマージは、トレーニング時に取得した集合データをより一般化するコンセンサスモデルへの収束に寄与する。また, モデルパラメータの共有およびマージ時のエネルギー消費は, トレーニング期間中のエネルギー使用量と比較して無視できる。この事実を生かして、いくつかの訓練ラウンドを戦略的にスキップし、同期ラウンドで置き換えることで、分散学習におけるエネルギー消費を最小限に抑える新しいDLアルゴリズムであるSkipTrainを提案する。これらのトレーニングのサイレントな期間は、省エネに加えて、各ラウンドでトレーニングする典型的なDLアルゴリズムよりも優れた精度でモデルをミックスし、最終的にモデルを作ることができる。 256ノードを用いた実験により,従来のDLアルゴリズムであるD-PSGDと比較して,SkipTrainはエネルギー消費量を50%削減し,モデル精度を最大12%向上することを示した。

関連論文リスト

Harnessing Increased Client Participation with Cohort-Parallel Federated Learning [2.9593087583214173]
Federated Learning(FL)は、ノードがグローバルモデルを協調的にトレーニングする機械学習アプローチである。本稿では,Cohort-Parallel Federated Learning (CPFL)を紹介する。 4つのコホート、非IIDデータ分散、CIFAR-10を持つCPFLは、列車の時間短縮に1.9$times$、資源使用量削減に1.3$times$である。
論文参考訳（メタデータ） (2024-05-24T15:34:09Z)
Always-Sparse Training by Growing Connections with Guided Stochastic Exploration [46.4179239171213]
本研究では,より大規模かつスペーサーなモデルへのスケーリングに優れる,効率的な常時スパーストレーニングアルゴリズムを提案する。我々は,VGGモデルとVTモデルを用いて,CIFAR-10/100 と ImageNet の手法を評価し,様々なスペーサー化手法と比較した。
論文参考訳（メタデータ） (2024-01-12T21:32:04Z)
Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices [0.0]
Ravnestは、計算ノードをクラスタに効率的に整理することで、分散トレーニングを促進する。遅延更新を伴うブロック構造最適化問題として,非同期SGD損失関数のフレーム化を行った。
論文参考訳（メタデータ） (2024-01-03T13:07:07Z)
Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文参考訳（メタデータ） (2023-10-16T06:16:47Z)
Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文参考訳（メタデータ） (2023-05-24T13:52:18Z)
Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation [23.018715954992352]
本稿では、前述のコスト操作に依存しない分散GNNトレーニングのための簡易フレームワークを提案する。具体的には,トレーニンググラフの局所的に利用可能な部分の局所モデルを非同期に学習する独立したトレーナーを編成する。最大13億エッジのソーシャルおよびeコマースネットワークの実験において、提案したRandomTMAおよびSuperTMAアプローチは、最速のベースラインと比較して最先端のパフォーマンスと2.31倍のスピードアップを達成する。
論文参考訳（メタデータ） (2023-05-17T01:49:44Z)
SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
論文参考訳（メタデータ） (2023-01-27T18:55:19Z)
Consensus Control for Decentralized Deep Learning [72.50487751271069]
ディープラーニングモデルの分散トレーニングは、ネットワーク上のデバイス上での学習と、大規模計算クラスタへの効率的なスケーリングを可能にする。理論上、トレーニングコンセンサス距離が重要な量よりも低い場合、分散化されたトレーニングは集中的なトレーニングよりも早く収束することを示す。私たちの経験的な洞察は、パフォーマンス低下を軽減するために、より分散化されたトレーニングスキームの原則設計を可能にします。
論文参考訳（メタデータ） (2021-02-09T13:58:33Z)
Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。