論文の概要: Biased Local SGD for Efficient Deep Learning on Heterogeneous Systems

• arxiv url: http://arxiv.org/abs/2508.08540v1
• Date: Tue, 12 Aug 2025 01:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.260737
• Title: Biased Local SGD for Efficient Deep Learning on Heterogeneous Systems
• Title（参考訳）: 不均一システムにおける効率的な深層学習のためのBiased Local SGD
• Authors: Jihyun Lim, Junhyuk Jo, Chanhyeok Ko, Young Min Go, Jimin Hwa, Sunwoo Lee,
• Abstract要約: ほとんどの大規模ニューラルネットワークトレーニング手法は、均質な並列計算資源を前提としている。 計算能力に比例して各計算資源に負荷を割り当てるシステム対応局所勾配降下法(ローカルSGD)を提案する。 本研究では,不均一環境下での局所的なSGDの促進効果について検討した。
• 参考スコア（独自算出の注目度）: 4.650237714337225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most large-scale neural network training methods assume homogeneous parallel computing resources. For example, synchronous SGD with data parallelism, the most widely used parallel training strategy, incurs significant synchronization overhead when workers process their assigned data at different speeds. Consequently, in systems with heterogeneous compute resources, users often rely solely on the fastest components, such as GPUs, for training. In this work, we explore how to effectively use heterogeneous resources for neural network training. We propose a system-aware local stochastic gradient descent (local SGD) method that allocates workloads to each compute resource in proportion to its compute capacity. To make better use of slower resources such as CPUs, we intentionally introduce bias into data sampling and model aggregation. Our study shows that well-controlled bias can significantly accelerate local SGD in heterogeneous environments, achieving comparable or even higher accuracy than synchronous SGD with data-parallelism within the same time budget. This fundamental parallelization strategy can be readily extended to diverse heterogeneous environments, including cloud platforms and multi-node high-performance computing clusters.
• Abstract（参考訳）: ほとんどの大規模ニューラルネットワークトレーニング手法は、均質な並列計算資源を前提としている。 例えば、最も広く使用されている並列トレーニング戦略であるデータ並列性を備えた同期SGDでは、ワーカーが割り当てられたデータを異なる速度で処理する場合、かなりの同期オーバーヘッドが発生する。 したがって、不均一な計算リソースを持つシステムでは、ユーザーはトレーニングのためにGPUのような最も高速なコンポーネントにのみ依存することが多い。 本研究では,ニューラルネットワークトレーニングに異種資源を効果的に利用する方法について検討する。 計算能力に比例して各計算資源に負荷を割り当てるシステム対応局所確率勾配降下法(ローカルSGD)を提案する。 CPUなどの遅いリソースをよりよく活用するために、データサンプリングとモデルアグリゲーションにバイアスを意図的に導入します。 本研究は,不均一環境下での局所SGDの精度が,データ並列性を伴う同期SGDと同等あるいはそれ以上に向上することを示す。 この基本的な並列化戦略は、クラウドプラットフォームやマルチノードハイパフォーマンスコンピューティングクラスタを含む多様な異種環境に容易に拡張できる。

関連論文リスト

• OmniLearn: A Framework for Distributed Deep Learning over Heterogeneous Clusters [1.4131700241686853]
  異種資源の影響を軽減するため,OmniLearnという適応型バッチスケーリングフレームワークを開発した。 当社のアプローチは、異種サーバ間のバランスをとるための比例的なコントローラにインスパイアされ、さまざまなリソースの可用性の下で動作します。
  論文  参考訳（メタデータ） (2025-03-21T18:26:24Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Accelerating Neural Network Training with Distributed Asynchronous and Selective Optimization (DASO) [0.0]
  分散非同期および選択的最適化(DASO)手法を導入し、ネットワークトレーニングを加速します。 DASOは、ノードローカルおよびグローバルネットワークで構成される階層型および非同期通信スキームを使用する。 DASOは従来のネットワークや最先端ネットワークで最大34%のトレーニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:02:20Z)
• Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning [46.32232395989181]
  通信と計算の複雑さの観点から,局所的な学習を効率的に行うことを目的としている。 分散学習における重要な学習シナリオの1つは、フェデレート学習シナリオである。
  論文  参考訳（メタデータ） (2021-02-05T14:32:28Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。