論文の概要: CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning
- arxiv url: http://arxiv.org/abs/2303.11649v1
- Date: Tue, 21 Mar 2023 07:49:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:00:35.684931
- Title: CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning
- Title(参考訳): coopinit:協調学習による生成型adversarial networkの初期化
- Authors: Yang Zhao, Jianwen Xie, Ping Li
- Abstract要約: CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
- 参考スコア(独自算出の注目度): 50.90384817689249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Numerous research efforts have been made to stabilize the training of the
Generative Adversarial Networks (GANs), such as through regularization and
architecture design. However, we identify the instability can also arise from
the fragile balance at the early stage of adversarial learning. This paper
proposes the CoopInit, a simple yet effective cooperative learning-based
initialization strategy that can quickly learn a good starting point for GANs,
with a very small computation overhead during training. The proposed algorithm
consists of two learning stages: (i) Cooperative initialization stage: The
discriminator of GAN is treated as an energy-based model (EBM) and is optimized
via maximum likelihood estimation (MLE), with the help of the GAN's generator
to provide synthetic data to approximate the learning gradients. The EBM also
guides the MLE learning of the generator via MCMC teaching; (ii) Adversarial
finalization stage: After a few iterations of initialization, the algorithm
seamlessly transits to the regular mini-max adversarial training until
convergence. The motivation is that the MLE-based initialization stage drives
the model towards mode coverage, which is helpful in alleviating the issue of
mode dropping during the adversarial learning stage. We demonstrate the
effectiveness of the proposed approach on image generation and one-sided
unpaired image-to-image translation tasks through extensive experiments.
- Abstract(参考訳): GAN(Generative Adversarial Networks)のトレーニングを、正規化やアーキテクチャ設計を通じて安定化させるために、数多くの研究がなされている。
しかし,その不安定性は,敵対的学習の初期段階における脆弱なバランスから生じる可能性がある。
本稿では,gansの出発点を素早く学習できる簡易かつ効果的な協調学習に基づく初期化戦略であるcoopinitを提案する。
提案アルゴリズムは2つの学習段階からなる。
一 協調初期化段階: GANの判別器は、エネルギーベースモデル(EBM)として扱われ、最大推定(MLE)により最適化され、GANのジェネレータの助けを借りて、学習勾配を近似する合成データを提供する。
EBMはまた、MCMC教育を通じてジェネレータのMLE学習を導く。
(ii) 敵対的最終化段階: 数回の初期化の後に、アルゴリズムは収束するまで通常のミニマックス敵訓練にシームレスに移行する。
モチベーションは,MLEをベースとした初期化段階がモードカバレッジに向けてモデルを駆動することであり,逆学習段階におけるモードダウンの問題を軽減するのに有効である。
提案手法が画像生成および一対一の画像対画像翻訳タスクに有効であることを示す。
関連論文リスト
- Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳(メタデータ) (2023-06-06T18:02:02Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Annealing Optimization for Progressive Learning with Stochastic
Approximation [0.0]
計算資源が限られているアプリケーションのニーズを満たすために設計された学習モデルを導入する。
我々は,オンラインな勾配近似アルゴリズムとして定式化されたオンラインプロトタイプベースの学習アルゴリズムを開発した。
学習モデルは、教師なし、教師なし、強化学習に使用される、解釈可能で、徐々に成長する競争的ニューラルネットワークモデルと見なすことができる。
論文 参考訳(メタデータ) (2022-09-06T21:31:01Z) - Complementing Brightness Constancy with Deep Networks for Optical Flow
Prediction [30.10864927536864]
COMBOは、従来の方法で使用される輝度不安定性(BC)モデルを利用するディープネットワークである。
我々は,最適協調を保証するために,分解の異なる構成要素を学習するための共同学習手法を導出する。
実験により、COMBOは最先端の教師付きネットワーク上での性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2022-07-08T09:42:40Z) - A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle
Correction and Geometric Prior Distillation [7.643154460109723]
本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。
マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。
各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
論文 参考訳(メタデータ) (2022-05-14T13:36:27Z) - A Unified Contrastive Energy-based Model for Understanding the
Generative Ability of Adversarial Training [64.71254710803368]
Adversarial Training (AT) は、ディープニューラルネットワークの堅牢性を高める効果的なアプローチである。
我々は、Contrastive Energy-based Models(CEM)と呼ばれる統合確率的枠組みを開発することにより、この現象をデミステレーションする。
本稿では,逆学習法とサンプリング法を開発するための原則的手法を提案する。
論文 参考訳(メタデータ) (2022-03-25T05:33:34Z) - A Heuristically Assisted Deep Reinforcement Learning Approach for
Network Slice Placement [0.7885276250519428]
本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。
提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
論文 参考訳(メタデータ) (2021-05-14T10:04:17Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-31T23:46:32Z) - A Low Complexity Decentralized Neural Net with Centralized Equivalence
using Layer-wise Learning [49.15799302636519]
我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。
我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。
本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
論文 参考訳(メタデータ) (2020-09-29T13:08:12Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。