論文の概要: Distributed Deep Learning using Stochastic Gradient Staleness

• arxiv url: http://arxiv.org/abs/2509.05679v1
• Date: Sat, 06 Sep 2025 11:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.646809
• Title: Distributed Deep Learning using Stochastic Gradient Staleness
• Title（参考訳）: 確率的勾配性を用いた分散ディープラーニング
• Authors: Viet Hoang Pham, Hyo-Sung Ahn,
• Abstract要約: 高性能ディープニューラルネットワーク(DNN)は、ますます深くなり、広範なトレーニングデータセットを必要とする傾向にある。 本稿では,データ並列性と完全に分離された並列バックプロパゲーションアルゴリズムを統合する分散トレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 4.254099382808598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the notable success of deep neural networks (DNNs) in solving complex tasks, the training process still remains considerable challenges. A primary obstacle is the substantial time required for training, particularly as high performing DNNs tend to become increasingly deep (characterized by a larger number of hidden layers) and require extensive training datasets. To address these challenges, this paper introduces a distributed training method that integrates two prominent strategies for accelerating deep learning: data parallelism and fully decoupled parallel backpropagation algorithm. By utilizing multiple computational units operating in parallel, the proposed approach enhances the amount of training data processed in each iteration while mitigating locking issues commonly associated with the backpropagation algorithm. These features collectively contribute to significant improvements in training efficiency. The proposed distributed training method is rigorously proven to converge to critical points under certain conditions. Its effectiveness is further demonstrated through empirical evaluations, wherein an DNN is trained to perform classification tasks on the CIFAR-10 dataset.
• Abstract（参考訳）: 複雑なタスクの解決におけるディープニューラルネットワーク(DNN)の顕著な成功にもかかわらず、トレーニングプロセスは依然としてかなりの課題である。 特に、ハイパフォーマンスなDNNは、ますます深くなり(多くの隠れたレイヤによって特徴付けられる)、広範なトレーニングデータセットを必要とするため、トレーニングに要するかなりの時間である。 これらの課題に対処するために,データ並列性と完全分離並列バックプロパゲーションアルゴリズムという,ディープラーニングを促進するための2つの重要な戦略を統合する分散トレーニング手法を提案する。 並列に動作する複数の計算ユニットを利用することで、提案手法は、バックプロパゲーションアルゴリズムに共通するロック問題を緩和しつつ、各イテレーションで処理されるトレーニングデータの量を増加させる。 これらの特徴は総合的に訓練効率の大幅な改善に寄与する。 提案手法は,特定の条件下で臨界点に収束することが厳密に証明されている。 その効果は、CIFAR-10データセット上で分類タスクを実行するためにDNNが訓練された経験的評価によってさらに実証される。

関連論文リスト

• Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners [82.72552644267724]
  BoostPFNは、大規模なデータセットでトレーニングサンプルと同じサイズで、標準的なPFNよりもパフォーマンスがよい。 高い性能はPFNのトレーニング前サイズの最大50倍まで維持される。
  論文  参考訳（メタデータ） (2025-03-03T07:31:40Z)
• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Efficient Deep Learning with Decorrelated Backpropagation [1.9731499060686393]
  深層畳み込みニューラルネットワークのより効率的なトレーニングは、Decorrelated backpropagationを学習のメカニズムとして受け入れることによって実現可能であることを示す。 我々は、50層ResNetモデルまで複数の深層ネットワークをトレーニングする際に、バックプロパゲーションと比較して、2倍以上のスピードアップと高いテスト精度を達成する。
  論文  参考訳（メタデータ） (2024-05-03T17:21:13Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Efficient Training of Multi-task Neural Solver for Combinatorial Optimization [23.694457372640912]
  本稿では,統合型マルチタスクニューラルソルバを実現するための,汎用的で効率的なトレーニングパラダイムを提案する。 本手法は, 制約付きトレーニング予算の範囲内であっても, 全体的な性能を著しく向上させる。 また,本手法は単一タスク学習やマルチタスク学習と比較して最高の結果を得た。
  論文  参考訳（メタデータ） (2023-05-10T14:20:34Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。