論文の概要: An introduction to distributed training of deep neural networks for
segmentation tasks with large seismic datasets
- arxiv url: http://arxiv.org/abs/2102.13003v1
- Date: Thu, 25 Feb 2021 17:06:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-27 10:10:12.258040
- Title: An introduction to distributed training of deep neural networks for
segmentation tasks with large seismic datasets
- Title(参考訳): 大規模地震データセットを用いたセグメンテーションタスクのためのディープニューラルネットワークの分散トレーニング入門
- Authors: Claire Birnie, Haithem Jarraya and Fredrik Hansteen
- Abstract要約: 本稿では,大規模ニューラルネットワークのトレーニングにおける2つの主な課題,メモリ制限と非現実的なトレーニング時間について述べる。
750GB以上のデータを、トレーニングバッチに必要なデータのみをメモリに格納するデータジェネレータアプローチを用いて、モデルトレーニングにどのように使用できるかを示す。
さらに、入力データ次元4096,4096の7層unetのトレーニングにより、大規模モデルに対する効率的なトレーニングを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning applications are drastically progressing in seismic processing
and interpretation tasks. However, the majority of approaches subsample data
volumes and restrict model sizes to minimise computational requirements.
Subsampling the data risks losing vital spatio-temporal information which could
aid training whilst restricting model sizes can impact model performance, or in
some extreme cases, renders more complicated tasks such as segmentation
impossible. This paper illustrates how to tackle the two main issues of
training of large neural networks: memory limitations and impracticably large
training times. Typically, training data is preloaded into memory prior to
training, a particular challenge for seismic applications where data is
typically four times larger than that used for standard image processing tasks
(float32 vs. uint8). Using a microseismic use case, we illustrate how over
750GB of data can be used to train a model by using a data generator approach
which only stores in memory the data required for that training batch.
Furthermore, efficient training over large models is illustrated through the
training of a 7-layer UNet with input data dimensions of 4096X4096. Through a
batch-splitting distributed training approach, training times are reduced by a
factor of four. The combination of data generators and distributed training
removes any necessity of data 1 subsampling or restriction of neural network
sizes, offering the opportunity of utilisation of larger networks,
higher-resolution input data or moving from 2D to 3D problem spaces.
- Abstract(参考訳): 深層学習の応用は、地震処理や解釈タスクにおいて飛躍的に進歩している。
しかし、多くのアプローチはデータボリュームをサンプリングし、計算要件を最小化するためにモデルサイズを制限する。
モデルのサイズを制限しながらトレーニングを支援する可能性のある重要な時空間情報を失うデータリスクのサブサンプルは、モデルのパフォーマンスに影響を与える可能性があります。
本稿では,大規模ニューラルネットワークのトレーニングにおける2つの主な課題,メモリ制限と非現実的なトレーニング時間について述べる。
トレーニングデータは通常、トレーニング前にメモリにプリロードされる。これは、標準画像処理タスク(float32 vs. uint8)で使用されるデータより4倍大きい耐震アプリケーションにおいて、特に課題である。
マイクロ地震のユースケースを用いて、トレーニングバッチに必要なデータのみをメモリに格納するデータジェネレータアプローチを用いて、750GB以上のデータを使用してモデルをトレーニングする方法を説明する。
さらに、入力データ次元4096x4096の7層unetのトレーニングにより、大規模モデルに対する効率的なトレーニングを示す。
バッチ分割による分散トレーニングアプローチでは、トレーニング時間が4倍に短縮される。
データジェネレータと分散トレーニングの組み合わせは、ニューラルネットワークサイズのデータ1のサブサンプリングや制限の必要性をなくし、より大きなネットワーク、高解像度入力データ、あるいは2dから3d問題空間に移行する機会を提供する。
関連論文リスト
- Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。
この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。
このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
論文 参考訳(メタデータ) (2024-03-17T13:06:29Z) - Deep Internal Learning: Deep Learning from a Single Input [88.59966585422914]
多くの場合、手元にある入力からネットワークをトレーニングする価値がある。
これは、トレーニングデータが少なく、多様性が大きい多くの信号および画像処理問題に特に関係している。
本研究の目的は,この2つの重要な方向に向けて,過去数年間に提案されてきた深層学習技術について報告することである。
論文 参考訳(メタデータ) (2023-12-12T16:48:53Z) - Towards Federated Learning Under Resource Constraints via Layer-wise
Training and Depth Dropout [33.308067180286045]
クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。
我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。
また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
論文 参考訳(メタデータ) (2023-09-11T03:17:45Z) - Dataset Quantization [72.61936019738076]
大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。
DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
論文 参考訳(メタデータ) (2023-08-21T07:24:29Z) - Rediscovering Hashed Random Projections for Efficient Quantization of
Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。
データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。
ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。
組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文 参考訳(メタデータ) (2023-03-13T10:53:00Z) - Reconstructing Training Data from Model Gradient, Provably [68.21082086264555]
ランダムに選択されたパラメータ値で1つの勾配クエリからトレーニングサンプルを再構成する。
センシティブなトレーニングデータを示す証明可能な攻撃として、われわれの発見はプライバシーに対する深刻な脅威を示唆している。
論文 参考訳(メタデータ) (2022-12-07T15:32:22Z) - DANCE: DAta-Network Co-optimization for Efficient Segmentation Model
Training and Inference [85.02494022662505]
DANCEは、効率的なセグメンテーションモデルのトレーニングと推論のための自動データネットワーク協調最適化である。
入力イメージを適応的にダウンサンプル/ドロップする自動データスライミングを統合し、画像の空間的複雑さによって導かれるトレーニング損失に対するそれに対応するコントリビューションを制御する。
実験と非難研究により、DANCEは効率的なセグメンテーションに向けて「オールウィン」を達成できることを示した。
論文 参考訳(メタデータ) (2021-07-16T04:58:58Z) - Data optimization for large batch distributed training of deep neural
networks [0.19336815376402716]
ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。
本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。
当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
論文 参考訳(メタデータ) (2020-12-16T21:22:02Z) - Predicting Training Time Without Training [120.92623395389255]
我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。
我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。
トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
論文 参考訳(メタデータ) (2020-08-28T04:29:54Z) - Approaches of large-scale images recognition with more than 50,000 categoris [0.0]
本稿では,従来のCV技術を用いて,大規模種のデータセットを分類するための有効なソリューションを提供する。
我々は50,000以上のカテゴリを持つデータセットを使用し、すべての操作は、l 6GB RAMとCPUが3.OGHzの一般的なコンピュータ上で実行される。
論文 参考訳(メタデータ) (2020-07-26T07:33:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。