Fugu-MT 論文翻訳(概要): Accelerating GAN training using highly parallel hardware on public cloud

論文の概要: Accelerating GAN training using highly parallel hardware on public cloud

arxiv url: http://arxiv.org/abs/2111.04628v1
Date: Mon, 8 Nov 2021 16:59:15 GMT
ステータス: 処理完了
システム内更新日: 2021-11-09 19:01:14.452988
Title: Accelerating GAN training using highly parallel hardware on public cloud
Title（参考訳）: パブリッククラウド上での高並列ハードウェアによるGANトレーニングの高速化
Authors: Renato Cardoso, Dejan Golubovic, Ignacio Peluaga Lozada, Ricardo Rocha, Jo\~ao Fernandes and Sofia Vallecorsa
Abstract要約: 本研究は,GAN(Geneversarative Adversarial Network)を並列環境でトレーニングする,さまざまなタイプのクラウドサービスについて検討する。複数のGPUとGoogle Processing Units(TPU)上でのトレーニングプロセスを並列化する。トレーニングプロセスの線形スピードアップは、物理結果の観点から、ほとんどの性能を保ちながら得られる。
参考スコア（独自算出の注目度）: 0.3694429692322631
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the increasing number of Machine and Deep Learning applications in High Energy Physics, easy access to dedicated infrastructure represents a requirement for fast and efficient R&D. This work explores different types of cloud services to train a Generative Adversarial Network (GAN) in a parallel environment, using Tensorflow data parallel strategy. More specifically, we parallelize the training process on multiple GPUs and Google Tensor Processing Units (TPU) and we compare two algorithms: the TensorFlow built-in logic and a custom loop, optimised to have higher control of the elements assigned to each GPU worker or TPU core. The quality of the generated data is compared to Monte Carlo simulation. Linear speed-up of the training process is obtained, while retaining most of the performance in terms of physics results. Additionally, we benchmark the aforementioned approaches, at scale, over multiple GPU nodes, deploying the training process on different public cloud providers, seeking for overall efficiency and cost-effectiveness. The combination of data science, cloud deployment options and associated economics allows to burst out heterogeneously, exploring the full potential of cloud-based services.
Abstract（参考訳）: 高エネルギー物理学における機械学習やディープラーニングの応用が増えているため、専用インフラへの容易なアクセスは、高速かつ効率的な研究開発の要件である。本研究では,Tensorflowデータ並列戦略を用いて,GAN(Generative Adversarial Network)を並列環境でトレーニングする,さまざまなタイプのクラウドサービスについて検討する。具体的には、複数のGPUとGoogle Tensor Processing Unit(TPU)上でのトレーニングプロセスを並列化し、TensorFlow組み込みロジックとカスタムループの2つのアルゴリズムを比較します。生成されたデータの品質はモンテカルロシミュレーションと比較される。トレーニングプロセスの線形スピードアップは、物理結果の観点から、ほとんどの性能を維持しながら得られる。さらに、前述のアプローチを大規模に、複数のGPUノード上でベンチマークし、さまざまなパブリッククラウドプロバイダにトレーニングプロセスをデプロイし、全体的な効率性とコスト効率を追求しています。データサイエンス、クラウドデプロイメントオプション、関連する経済の組み合わせにより、クラウドベースのサービスの潜在能力を探求し、異質に展開することができる。

関連論文リスト

Faster Multi-GPU Training with PPLL: A Pipeline Parallelism Framework Leveraging Local Learning [8.628231789161577]
本稿では,ローカル学習アルゴリズムを活用する新しいフレームワークPPLL(Pipeline Parallelism based on Local Learning)を提案する。 GPU間のデータ転送を管理するキューを利用することで、PPLLはシームレスなクロスGPU通信を保証する。その結果,PPLLは従来のパイプライン並列処理と同等あるいはそれ以上の訓練速度を達成しつつ,局所的な学習手法の学習速度を大幅に向上することを示した。
論文参考訳（メタデータ） (2024-11-19T08:09:18Z)
Benchmarking Edge AI Platforms for High-Performance ML Inference [0.0]
エッジコンピューティングは、通信遅延を減らし、リアルタイム処理を可能にする能力から、高性能で異質なSystem-on-Chipソリューションの興隆を促進している。現在のアプローチでは、現代的なハードウェアをスケールダウンすることが多いが、ニューラルネットワークワークロードのパフォーマンス特性は、大きく異なる場合がある。我々は、CPUのみ、CPU/GPU、CPU/NPU統合ソリューション間で、様々な線形代数およびニューラルネットワーク推論タスクのレイテンシとスループットを比較した。
論文参考訳（メタデータ） (2024-09-23T08:27:27Z)
Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文参考訳（メタデータ） (2023-12-23T07:47:07Z)
In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
論文参考訳（メタデータ） (2023-06-22T14:07:54Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
論文参考訳（メタデータ） (2022-10-17T14:49:14Z)
SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文参考訳（メタデータ） (2021-12-22T14:45:37Z)
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。本稿では,これらのボトルネックを緩和する一連の改良点について述べる。また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文参考訳（メタデータ） (2021-10-16T02:41:35Z)
Scheduling Optimization Techniques for Neural Network Training [3.1617796705744547]
本稿では,ニューラルネットワークトレーニングに有効なスケジューリング手法であるアウト・オブ・オーダー(oo)バックプロップを提案する。単一GPU、データ並列、パイプライン並列トレーニングにおけるGPU利用は、ooobackpropを適用することで、一般的に改善できることを示す。
論文参考訳（メタデータ） (2021-10-03T05:45:06Z)
SparsePipe: Parallel Deep Learning for 3D Point Clouds [7.181267620981419]
SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートする。入力データを複数のプロセッサに分割するバッチ内並列処理を利用する。我々は、SparsePipeが効果的に並列化でき、現在のクラウドベンチマークでより良いパフォーマンスを得ることができることを示す。
論文参考訳（メタデータ） (2020-12-27T01:47:09Z)
Benchmarking network fabrics for data distributed training of deep neural networks [10.067102343753643]
深層モデルの訓練のための大規模な計算要求は、より高速な訓練のための新しい方法の開発を必要としている。このようなアプローチのひとつに、トレーニングデータを複数の計算ノードに分散する、データ並列アプローチがある。本稿では,物理ハードウェアの相互接続とネットワーク関連ソフトウェアプリミティブを用いてデータ分散ディープラーニングを実現する効果について検討する。
論文参考訳（メタデータ） (2020-08-18T17:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。