論文の概要: Signal Propagation in a Gradient-Based and Evolutionary Learning System

• arxiv url: http://arxiv.org/abs/2102.08929v1
• Date: Wed, 10 Feb 2021 16:46:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 14:50:09.852367
• Title: Signal Propagation in a Gradient-Based and Evolutionary Learning System
• Title（参考訳）: 勾配型・進化型学習システムにおける信号伝達
• Authors: Jamal Toutouh and Una-May O'Reilly
• Abstract要約: GANトレーニングのための共進化アルゴリズム(CEA)は、彼らに経験的に堅牢です。 そこで我々は,Lipizzanerのような分散CEAであるLipi-Ringを提案する。 主課題は,信号伝搬の方向性の違いがリピズザナーの性能品質と訓練効率に合致するかどうかである。
• 参考スコア（独自算出の注目度）: 9.911708222650825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative adversarial networks (GANs) exhibit training pathologies that can lead to convergence-related degenerative behaviors, whereas spatially-distributed, coevolutionary algorithms (CEAs) for GAN training, e.g. Lipizzaner, are empirically robust to them. The robustness arises from diversity that occurs by training populations of generators and discriminators in each cell of a toroidal grid. Communication, where signals in the form of parameters of the best GAN in a cell propagate in four directions: North, South, West, and East, also plays a role, by communicating adaptations that are both new and fit. We propose Lipi-Ring, a distributed CEA like Lipizzaner, except that it uses a different spatial topology, i.e. a ring. Our central question is whether the different directionality of signal propagation (effectively migration to one or more neighbors on each side of a cell) meets or exceeds the performance quality and training efficiency of Lipizzaner Experimental analysis on different datasets (i.e, MNIST, CelebA, and COVID-19 chest X-ray images) shows that there are no significant differences between the performances of the trained generative models by both methods. However, Lipi-Ring significantly reduces the computational time (14.2%. . . 41.2%). Thus, Lipi-Ring offers an alternative to Lipizzaner when the computational cost of training matters.
• Abstract（参考訳）: GAN(Generative adversarial Network)は、GANトレーニングのための空間分散共進化アルゴリズム(CEA)に対して、収束に関連する変性行動につながる可能性がある訓練病理を示す。 Lipizzanerは、彼らに経験的に堅牢です。 堅牢性は、トロイダルグリッドの各セルで発生器と識別器の集団を訓練することによって生じる多様性から生じる。 細胞の中で最高のGANのパラメータの形の信号が4方向(北、南、西、東の4方向)で伝播する通信は、新しく適合した適応を伝達することでも役割を果たす。 そこで我々は,Lipizzanerのような分散CEAであるLipi-Ringを提案する。 指輪だ 私たちの中心となる疑問は、異なるデータセット(mnist、celeba、covid-19の胸部x線画像)におけるリピズザナー実験解析の性能品質とトレーニング効率が、信号伝達の異なる方向性(セルの両側に1つまたは複数の隣人へ効果的に移行する)が一致しているか、あるいはそれを超えるかということです。 しかし、リピリングは計算時間を大幅に短縮する(14.2%)。 . . 41.2%). したがって、Lipi-Ringは、トレーニングの計算コストが重要な場合、Lipizzanerに代わるものを提供します。

関連論文リスト

• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability [0.0]
  我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。 ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
  論文  参考訳（メタデータ） (2023-05-31T15:58:54Z)
• Dissecting adaptive methods in GANs [46.90376306847234]
  我々は、適応的手法がGAN(Generative Adversarial Network)の訓練にどう役立つかを検討する。 我々は,Adam更新の程度とSGDの正規化方向の更新ルールを考慮し,Adamの適応度がGANトレーニングの鍵であることを実証的に示す。 この設定では、nSGDAで訓練されたGANが真の分布のすべてのモードを回復するのに対し、SGDA(および学習率構成)で訓練された同じネットワークはモード崩壊に悩まされていることを証明している。
  論文  参考訳（メタデータ） (2022-10-09T19:00:07Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• Training Generative Adversarial Networks in One Stage [58.983325666852856]
  本稿では,1段階のみに効率よくGANを訓練できる汎用的なトレーニング手法を提案する。 提案手法は,データフリーな知識蒸留など,他の逆学習シナリオにも容易に適用可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-28T09:03:39Z)
• Analyzing the Components of Distributed Coevolutionary GAN Training [8.198369743955528]
  共進化における多様性に影響を与える2つのアルゴリズム成分の性能への影響について検討する。 MNISTデータセットの実験では、これらの2つのコンポーネントの組み合わせが最良の生成モデルを提供することがわかった。
  論文  参考訳（メタデータ） (2020-08-03T18:35:06Z)
• Parallel/distributed implementation of cellular training for generative adversarial neural networks [7.504722086511921]
  GAN(Generative Adversarial Network)は、生成モデルを学ぶために広く使われている。 本稿では、GANの2つの集団を訓練するための細胞競合共進化手法の並列/分散実装について述べる。
  論文  参考訳（メタデータ） (2020-04-07T16:01:58Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。