論文の概要: Bilevel Continual Learning

• arxiv url: http://arxiv.org/abs/2011.01168v1
• Date: Mon, 2 Nov 2020 18:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:42:10.486400
• Title: Bilevel Continual Learning
• Title（参考訳）: 二段階連続学習
• Authors: Ammar Shaker, Francesco Alesiani, Shujian Yu, Wenzhe Yin
• Abstract要約: 本稿では,連続学習の一般的な枠組みであるBilevel Continual Learning(BiCL)を提案する。 BiCLは、ディープニューラルネットワークのためのバイレベル最適化とメタラーニングの最近の進歩を融合させる。 実験の結果、BiCLは現在のタスクの精度で競合性能を提供することがわかった。
• 参考スコア（独自算出の注目度）: 18.293397644865454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) studies the problem of learning a sequence of tasks, one at a time, such that the learning of each new task does not lead to the deterioration in performance on the previously seen ones while exploiting previously learned features. This paper presents Bilevel Continual Learning (BiCL), a general framework for continual learning that fuses bilevel optimization and recent advances in meta-learning for deep neural networks. BiCL is able to train both deep discriminative and generative models under the conservative setting of the online continual learning. Experimental results show that BiCL provides competitive performance in terms of accuracy for the current task while reducing the effect of catastrophic forgetting. This is a concurrent work with [1]. We submitted it to AAAI 2020 and IJCAI 2020. Now we put it on the arxiv for record. Different from [1], we also consider continual generative model as well. At the same time, the authors are aware of a recent proposal on bilevel optimization based coreset construction for continual learning [2]. [1] Q. Pham, D. Sahoo, C. Liu, and S. C. Hoi. Bilevel continual learning. arXiv preprint arXiv:2007.15553, 2020. [2] Z. Borsos, M. Mutny, and A. Krause. Coresets via bilevel optimization for continual learning and streaming. arXiv preprint arXiv:2006.03875, 2020
• Abstract（参考訳）: 連続学習(CL)は,タスク列を1回ずつ学習する問題を研究し,各タスクの学習が,以前に学習した特徴を活用しながら,それまでのタスクに対するパフォーマンスの劣化を招かないようにした。 本稿では,二段階最適化と近年の深層ニューラルネットワークのメタラーニングの進歩を融合した,連続学習のための汎用フレームワークであるBilevel Continual Learning(BiCL)を提案する。 BiCLは、オンライン連続学習の保守的な設定の下で、深い差別モデルと生成モデルの両方を訓練することができる。 実験結果から,BiCLは破滅的忘れ込みの効果を低減しつつ,現在のタスクの精度で競争性能を提供することがわかった。 これは[1]との同時処理である。 aaai 2020とijcai 2020に提出しました。 そして今、記録のためにarxivに載せた。 [1]とは異なり、連続生成モデルも考慮する。 同時に、著者らは、継続学習のための2レベル最適化に基づくコアセット構築に関する最近の提案 [2] を認識している。 [1] Pham, D. Sahoo, C. Liu, S. C. Hoi。 二段階連続学習。 arxiv プレプリント arxiv:2007.15553, 2020 [2] Z. Borsos、M. Mutny、A. Krause。 継続的学習とストリーミングのための2レベル最適化によるcoresets。 arxivプレプリントarxiv:2006.03875, 2020

関連論文リスト

• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Benchmarking Sensitivity of Continual Graph Learning for Skeleton-Based Action Recognition [6.14431765787048]
  継続的学習(CL)は、スクラッチからリトレーニングすることなく、さまざまなタスクにわたって知識を継続的に蓄積できる機械学習モデルを構築することを目的としている。 従来の研究では、事前学習グラフニューラルネットワーク(GNN)が微調整後に負の伝達を引き起こす可能性があることが示されている。 連続グラフ学習設定のための最初の連続グラフ学習ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-31T18:20:42Z)
• Automating Continual Learning [42.710124929514066]
  汎用学習システムは、常に変化する環境において、オープンエンドで自己改善するべきである。 本稿では,自己参照型ニューラルネットワークのメタ学習のための自動連続学習(ACL)を提案する。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• Accelerating Batch Active Learning Using Continual Learning Techniques [5.514154947870141]
  Active Learning(AL)の大きな問題は、クエリラウンド毎にモデルがスクラッチから再トレーニングされるため、トレーニングコストが高いことだ。 我々は、事前にラベル付けされたセットに対してさらなるトレーニングをバイアスすることで、この問題を回避する新しいテクニックのクラスを開発する。 自然言語、ビジョン、医用画像、計算生物学など、さまざまなデータ領域で実験を行います。
  論文  参考訳（メタデータ） (2023-05-10T18:34:05Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Does Continual Learning = Catastrophic Forgetting? [21.77693101142049]
  我々は、継続的に学習するときに破滅的な忘れに苦しむことのない一連のタスクを提示する。 また,クラスインクリメンタルな分類学習タスクにおいて,最先端の手法に勝る新しいアルゴリズムであるyassを導入する。 最後に、連続モデルにおける表現学習のダイナミクスを追跡する新しいツールであるDyRTを提案する。
  論文  参考訳（メタデータ） (2021-01-18T19:29:12Z)
• Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee [110.16183719936629]
  本稿では,現行の定式化よりも高速に収束する2レベルモデルを提案する。 実験結果から,本モデルが現行のバイレベルモデルよりも大きなマージンで優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-09-01T20:52:57Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。