Fugu-MT 論文翻訳(概要): Parallel/distributed implementation of cellular training for generative adversarial neural networks

論文の概要: Parallel/distributed implementation of cellular training for generative adversarial neural networks

arxiv url: http://arxiv.org/abs/2004.04633v3
Date: Mon, 3 Aug 2020 17:55:24 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 00:06:38.636293
Title: Parallel/distributed implementation of cellular training for generative adversarial neural networks
Title（参考訳）: 世代交叉神経ネットワークのための細胞訓練の並列/分散実装
Authors: Emiliano Perez, Sergio Nesmachnow, Jamal Toutouh, Erik Hemberg, Una-May O'Reilly
Abstract要約: GAN(Generative Adversarial Network)は、生成モデルを学ぶために広く使われている。本稿では、GANの2つの集団を訓練するための細胞競合共進化手法の並列/分散実装について述べる。
参考スコア（独自算出の注目度）: 7.504722086511921
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generative adversarial networks (GANs) are widely used to learn generative models. GANs consist of two networks, a generator and a discriminator, that apply adversarial learning to optimize their parameters. This article presents a parallel/distributed implementation of a cellular competitive coevolutionary method to train two populations of GANs. A distributed memory parallel implementation is proposed for execution in high performance/supercomputing centers. Efficient results are reported on addressing the generation of handwritten digits (MNIST dataset samples). Moreover, the proposed implementation is able to reduce the training times and scale properly when considering different grid sizes for training.
Abstract（参考訳）: generative adversarial network (gans) は、生成モデルを学ぶために広く使われている。 GANはジェネレータと識別器という2つのネットワークから構成され、そのパラメータを最適化するために逆学習を適用する。本稿では、GANの2つの集団を訓練するための細胞競合共進化手法の並列/分散実装について述べる。分散メモリ並列実装はハイパフォーマンス/スーパーコンピューティングセンターで実行するために提案される。手書きディジット(MNISTデータセット)の生成に有効な結果が報告されている。さらに,提案手法は,トレーニング用グリッドサイズが異なる場合,トレーニング時間を短縮し,適切にスケールすることができる。

関連論文リスト

FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文参考訳（メタデータ） (2024-10-16T16:13:19Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文参考訳（メタデータ） (2022-07-21T08:16:31Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文参考訳（メタデータ） (2021-12-15T09:50:25Z)
Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文参考訳（メタデータ） (2021-04-23T20:05:52Z)
Training Generative Adversarial Networks in One Stage [58.983325666852856]
本稿では,1段階のみに効率よくGANを訓練できる汎用的なトレーニング手法を提案する。提案手法は,データフリーな知識蒸留など,他の逆学習シナリオにも容易に適用可能であることを示す。
論文参考訳（メタデータ） (2021-02-28T09:03:39Z)
Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
論文参考訳（メタデータ） (2021-02-10T01:19:15Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Restructuring, Pruning, and Adjustment of Deep Models for Parallel Distributed Inference [15.720414948573753]
複数の処理ノード(ワーカ)上で既に訓練済みのディープモデルの並列実装について検討する。並列化モデル全体の性能を保証するレイヤワイドモデル再構成およびプルーニング手法であるRePurposeを提案する。既存の手法と比較して,RePurposeは並列実装による分散推論の効率を大幅に向上させることを示す。
論文参考訳（メタデータ） (2020-08-19T06:44:41Z)
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN [13.561553183983774]
本稿では, 生成的対角ネットワークを用いて, ニューラルネットワークを敵の例に頑健にするための新しい手法を提案する。ジェネレータネットワークは、各画像の勾配を用いて分類器ネットワークを騙し易くする対向摂動を生成する。我々の対戦型トレーニングフレームワークは、Dropoutのような他の正規化手法よりも効率よくオーバーフィッティングを減らし、性能を向上します。
論文参考訳（メタデータ） (2017-05-09T15:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。