論文の概要: CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning

• arxiv url: http://arxiv.org/abs/2303.11649v1
• Date: Tue, 21 Mar 2023 07:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-22 16:00:35.684931
• Title: CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning
• Title（参考訳）: coopinit:協調学習による生成型adversarial networkの初期化
• Authors: Yang Zhao, Jianwen Xie, Ping Li
• Abstract要約: CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。 本稿では,画像生成における提案手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 50.90384817689249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous research efforts have been made to stabilize the training of the Generative Adversarial Networks (GANs), such as through regularization and architecture design. However, we identify the instability can also arise from the fragile balance at the early stage of adversarial learning. This paper proposes the CoopInit, a simple yet effective cooperative learning-based initialization strategy that can quickly learn a good starting point for GANs, with a very small computation overhead during training. The proposed algorithm consists of two learning stages: (i) Cooperative initialization stage: The discriminator of GAN is treated as an energy-based model (EBM) and is optimized via maximum likelihood estimation (MLE), with the help of the GAN's generator to provide synthetic data to approximate the learning gradients. The EBM also guides the MLE learning of the generator via MCMC teaching; (ii) Adversarial finalization stage: After a few iterations of initialization, the algorithm seamlessly transits to the regular mini-max adversarial training until convergence. The motivation is that the MLE-based initialization stage drives the model towards mode coverage, which is helpful in alleviating the issue of mode dropping during the adversarial learning stage. We demonstrate the effectiveness of the proposed approach on image generation and one-sided unpaired image-to-image translation tasks through extensive experiments.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)のトレーニングを、正規化やアーキテクチャ設計を通じて安定化させるために、数多くの研究がなされている。 しかし,その不安定性は,敵対的学習の初期段階における脆弱なバランスから生じる可能性がある。 本稿では,gansの出発点を素早く学習できる簡易かつ効果的な協調学習に基づく初期化戦略であるcoopinitを提案する。 提案アルゴリズムは2つの学習段階からなる。 一 協調初期化段階: GANの判別器は、エネルギーベースモデル(EBM)として扱われ、最大推定(MLE)により最適化され、GANのジェネレータの助けを借りて、学習勾配を近似する合成データを提供する。 EBMはまた、MCMC教育を通じてジェネレータのMLE学習を導く。 (ii) 敵対的最終化段階: 数回の初期化の後に、アルゴリズムは収束するまで通常のミニマックス敵訓練にシームレスに移行する。 モチベーションは,MLEをベースとした初期化段階がモードカバレッジに向けてモデルを駆動することであり,逆学習段階におけるモードダウンの問題を軽減するのに有効である。 提案手法が画像生成および一対一の画像対画像翻訳タスクに有効であることを示す。

関連論文リスト

• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Blind Super-Resolution via Meta-learning and Markov Chain Monte Carlo Simulation [46.5310645609264]
  本稿では,メタラーニングとマルコフ・チェイン・モンテカルロに基づくSISRアプローチを提案する。 軽量ネットワークがカーネルジェネレータとして採用され、ランダムガウス分布のMCMCシミュレーションから学習することで最適化される。 カーネルジェネレータと画像復元器を最適化するために,メタラーニングに基づく交互最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T07:50:15Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Complementing Brightness Constancy with Deep Networks for Optical Flow Prediction [30.10864927536864]
  COMBOは、従来の方法で使用される輝度不安定性(BC)モデルを利用するディープネットワークである。 我々は,最適協調を保証するために,分解の異なる構成要素を学習するための共同学習手法を導出する。 実験により、COMBOは最先端の教師付きネットワーク上での性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-07-08T09:42:40Z)
• A Unifying Multi-sampling-ratio CS-MRI Framework With Two-grid-cycle Correction and Geometric Prior Distillation [7.643154460109723]
  本稿では,モデルベースと深層学習に基づく手法の利点を融合して,深層展開型マルチサンプリング比CS-MRIフレームワークを提案する。 マルチグリッドアルゴリズムにインスパイアされ、まずCS-MRIに基づく最適化アルゴリズムを補正蒸留方式に組み込む。 各段の圧縮サンプリング比から適応的なステップ長と雑音レベルを学習するために条件モジュールを用いる。
  論文  参考訳（メタデータ） (2022-05-14T13:36:27Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。