論文の概要: Distributed Training of Deep Learning Models: A Taxonomic Perspective
- arxiv url: http://arxiv.org/abs/2007.03970v1
- Date: Wed, 8 Jul 2020 08:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 13:40:42.684535
- Title: Distributed Training of Deep Learning Models: A Taxonomic Perspective
- Title(参考訳): ディープラーニングモデルの分散トレーニング--分類学的観点から
- Authors: Matthias Langer, Zhen He, Wenny Rahayu, and Yanbo Xue
- Abstract要約: 分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。
私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
- 参考スコア(独自算出の注目度): 11.924058430461216
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed deep learning systems (DDLS) train deep neural network models by
utilizing the distributed resources of a cluster. Developers of DDLS are
required to make many decisions to process their particular workloads in their
chosen environment efficiently. The advent of GPU-based deep learning, the
ever-increasing size of datasets and deep neural network models, in combination
with the bandwidth constraints that exist in cluster environments require
developers of DDLS to be innovative in order to train high quality models
quickly. Comparing DDLS side-by-side is difficult due to their extensive
feature lists and architectural deviations. We aim to shine some light on the
fundamental principles that are at work when training deep neural networks in a
cluster of independent machines by analyzing the general properties associated
with training deep learning models and how such workloads can be distributed in
a cluster to achieve collaborative model training. Thereby we provide an
overview of the different techniques that are used by contemporary DDLS and
discuss their influence and implications on the training process. To
conceptualize and compare DDLS, we group different techniques into categories,
thus establishing a taxonomy of distributed deep learning systems.
- Abstract(参考訳): distributed deep learning systems (ddls)は、クラスタの分散リソースを利用してディープニューラルネットワークモデルをトレーニングする。
DDLSの開発者は、選択した環境で特定のワークロードを効率的に処理するための多くの決定をする必要がある。
GPUベースのディープラーニングの出現、データセットとディープニューラルネットワークモデルの絶え間なく増加するサイズ、クラスタ環境に存在する帯域制限と組み合わせることで、DDLSの開発者は、高品質モデルを迅速にトレーニングするために革新的である必要がある。
DDLSを並べて比較するのは、広範な機能リストとアーキテクチャ上の違いのため難しい。
我々は、ディープラーニングモデルのトレーニングに関連する一般的な特性を分析し、そのようなワークロードをクラスタに分散して協調的なモデルトレーニングを実現することで、独立したマシンのクラスタ内でディープニューラルネットワークをトレーニングする際の基本的な原則に光を当てることを目指している。
そこで,現代DDLSが使用する様々な技術の概要を述べ,その教育過程への影響と意義について論じる。
DDLSを概念化し、比較するために、異なるテクニックをカテゴリに分類し、分散ディープラーニングシステムの分類を確立させる。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - An effective theory of collective deep learning [1.3812010983144802]
我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。
線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。
MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
論文 参考訳(メタデータ) (2023-10-19T14:58:20Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Decentralized Training of Foundation Models in Heterogeneous
Environments [77.47261769795992]
GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。
ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
論文 参考訳(メタデータ) (2022-06-02T20:19:51Z) - Doing More by Doing Less: How Structured Partial Backpropagation
Improves Deep Learning Clusters [9.17259958324486]
ディープラーニングモデルのトレーニングは、リソース集約的で、重要な計算、メモリ、ネットワークリソースを消費する。
本研究では,分散トレーニングにおける個々の作業者のバックプロパゲーション量を制御する手法である構造化部分バックプロパゲーション(SPB)を提案する。
JigSawは,大規模クラスタの効率を最大28%向上できることがわかった。
論文 参考訳(メタデータ) (2021-11-20T20:34:26Z) - Canoe : A System for Collaborative Learning for Neural Nets [4.547883122787855]
Canoeはニューラルネットワークの知識伝達を容易にするフレームワークである。
Canoeはヘルパーノードのニューラルネットワークから重要なパラメータを動的に抽出する新しいシステムサポートを提供する。
異なるPyTorchモデルとニューラルネットワークモデルによるCanoeの評価は、知識伝達機構が、独立した学習に比べて3.5Xへのモデルの適応性を改善することを示した。
論文 参考訳(メタデータ) (2021-08-27T05:30:15Z) - Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。
学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。
モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
論文 参考訳(メタデータ) (2021-07-31T12:44:28Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Deep Generative Models that Solve PDEs: Distributed Computing for
Training Large Data-Free Models [25.33147292369218]
科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。
本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。
私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
論文 参考訳(メタデータ) (2020-07-24T22:42:35Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。