論文の概要: Efficient Continual Adaptation for Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2103.04032v1
• Date: Sat, 6 Mar 2021 05:09:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 18:07:54.121381
• Title: Efficient Continual Adaptation for Generative Adversarial Networks
• Title（参考訳）: ジェネレーティブ・ディバイサル・ネットワークに対する効率的な連続的適応
• Authors: Sakshi Varshney, Vinay Kumar Verma, Lawrence Carin, Piyush Rai
• Abstract要約: GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 97.20244383723853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a continual learning approach for generative adversarial networks (GANs), by designing and leveraging parameter-efficient feature map transformations. Our approach is based on learning a set of global and task-specific parameters. The global parameters are fixed across tasks whereas the task specific parameters act as local adapters for each task, and help in efficiently transforming the previous task's feature map to the new task's feature map. Moreover, we propose an element-wise residual bias in the transformed feature space which highly stabilizes GAN training. In contrast to the recent approaches for continual GANs, we do not rely on memory replay, regularization towards previous tasks' parameters, or expensive weight transformations. Through extensive experiments on challenging and diverse datasets, we show that the feature-map transformation based approach outperforms state-of-the-art continual GANs methods, with substantially fewer parameters, and also generates high-quality samples that can be used in generative replay based continual learning of discriminative tasks.
• Abstract（参考訳）: パラメータ効率の高い特徴写像変換の設計と活用により,GAN(ジェネレーション・アドバーサリ・ネットワーク)の継続的学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 グローバルパラメータはタスク間で修正され、タスク固有のパラメータは各タスクのローカルアダプタとして動作し、前のタスクの機能マップを新しいタスクの機能マップに効率的に変換するのに役立つ。 さらに,GANトレーニングを安定させる変換特徴空間における要素回りの残留バイアスを提案する。 連続的なGANに対する最近のアプローチとは対照的に、メモリリプレイや以前のタスクのパラメータに対する正規化、高価なウェイト変換には依存していません。 困難で多様なデータセットに関する広範な実験を通じて、特徴マップ変換に基づくアプローチは、パラメータが大幅に少なく、最先端の連続GAN法を上回り、識別タスクの再生再生に基づく連続学習に使用できる高品質のサンプルを生成することを示しています。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
  本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。 提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
  論文  参考訳（メタデータ） (2023-04-11T15:38:21Z)
• Revisit Parameter-Efficient Transfer Learning: A Two-Stage Paradigm [21.747744343882392]
  PETLは、大量のデータに事前訓練された大きなモデルを、タスク固有の限られたデータで下流タスクに効率的に適応することを目的としている。 本稿では,事前学習されたモデルがまずターゲット分布に整列する,新しい2段階のパラダイムを提案する。 提案手法は,19の下流タスクの平均精度で最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-14T13:50:31Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)
• Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation [48.31909975623379]
  コンボリューションフィルタとデコンボリューションフィルタのセットを構築することで,現在のタスクを学習するパラメータ効率の高いフレームワークであるPiggyback GANを提案する。 現在のタスクでは,本モデルでは,パラメータ数が低いスタンドアロンモデルと同等の高次品質を実現している。 異なるドメインのさまざまな画像コンディショニング生成タスクで Piggyback GAN を検証します。
  論文  参考訳（メタデータ） (2021-04-24T12:09:52Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)
• Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks [30.075430694663293]
  本稿では,2つの線形回帰問題間の伝達学習過程について検討する。 本稿では,対象タスクのパラメータのサブセットを関連するソースタスクで学習した値に制約するパラメータ転送機構について検討する。
  論文  参考訳（メタデータ） (2020-06-12T08:42:14Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。