論文の概要: Scalable Adversarial Online Continual Learning
- arxiv url: http://arxiv.org/abs/2209.01558v1
- Date: Sun, 4 Sep 2022 08:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:44:05.309536
- Title: Scalable Adversarial Online Continual Learning
- Title（参考訳）: スケーラブルなadversarial online continual learning
- Authors: Tanmoy Dam, Mahardhika Pratama, MD Meftahul Ferdaus, Sreenatha
Anavatti, Hussein Abbas
- Abstract要約: 本稿では,スケーラブルな逆連続学習法(SCALE)を提案する。
共通の特徴をタスク固有の特徴に変換するパラメータジェネレータと、共通の特徴を誘導する対戦ゲームにおける1つの識別器を前進させる。
これは、精度と実行時間の両方で顕著なマージンで顕著なベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 11.6720677621333
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adversarial continual learning is effective for continual learning problems
because of the presence of feature alignment process generating task-invariant
features having low susceptibility to the catastrophic forgetting problem.
Nevertheless, the ACL method imposes considerable complexities because it
relies on task-specific networks and discriminators. It also goes through an
iterative training process which does not fit for online (one-epoch) continual
learning problems. This paper proposes a scalable adversarial continual
learning (SCALE) method putting forward a parameter generator transforming
common features into task-specific features and a single discriminator in the
adversarial game to induce common features. The training process is carried out
in meta-learning fashions using a new combination of three loss functions.
SCALE outperforms prominent baselines with noticeable margins in both accuracy
and execution time.
- Abstract（参考訳）: 相反的連続学習は、破滅的忘れ込み問題に対する感受性の低いタスク不変特徴を生成する特徴アライメントプロセスが存在するため、継続的な学習問題に有効である。
しかしながら、ACL法はタスク固有のネットワークや識別器に依存するため、かなり複雑である。
また、オンライン(一時期)の継続的学習問題には適さない反復的なトレーニングプロセスも実施する。
本稿では,共通特徴をタスク固有の特徴に変換するパラメータ生成器と,共通特徴を推論する対戦ゲームにおける単一識別器とを,スケーラブルな逆連続学習(SCALE)手法を提案する。
学習過程は3つの損失関数の新たな組み合わせを用いてメタラーニング方式で行われる。
SCALEは、精度と実行時間の両方で顕著なマージンで顕著なベースラインを上回ります。
関連論文リスト
- Learn it or Leave it: Module Composition and Pruning for Continual Learning [48.07144492109635]
MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。
評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
論文 参考訳（メタデータ） (2024-06-26T19:18:28Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳（メタデータ） (2023-02-02T04:03:38Z) - Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
この性質のオンライン問題にメタラーニングを適用する方法について検討する。
タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。
実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
論文 参考訳（メタデータ） (2022-02-01T07:51:24Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳（メタデータ） (2021-06-24T05:19:26Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of
Gaussian Processes [25.513074215377696]
本稿では,連続的なオンラインモデルに基づく強化学習手法を提案する。
未知のタスク境界を持つタスク非依存の問題を解決するためには、事前トレーニングを必要としない。
実験では,本手法は非定常タスクにおける代替手法よりも優れている。
論文 参考訳（メタデータ） (2020-06-19T23:52:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。