論文の概要: AdaCL:Adaptive Continual Learning

• arxiv url: http://arxiv.org/abs/2303.13113v3
• Date: Mon, 1 Jul 2024 11:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 18:19:41.191749
• Title: AdaCL:Adaptive Continual Learning
• Title（参考訳）: AdaCL:適応型継続的学習
• Authors: Elif Ceren Gok Yildirim, Murat Onur Yildirim, Mert Kilickaya, Joaquin Vanschoren,
• Abstract要約: クラスインクリメンタルラーニング(Class-Incremental Learning)は、より深い分類器を更新して新しいカテゴリを学習し、それまで観察されたクラスの精度を維持したり改善することを目的としている。 学習済みのクラスを忘れないようにするための一般的な方法は、ニューラルネットワークのアップデートの正規化とメモリ上の例の保存である。 各タスクにハイパーパラメータを適用すると、精度、忘れ、記憶が向上することを示す。
• 参考スコア（独自算出の注目度）: 7.116403133334646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-Incremental Learning aims to update a deep classifier to learn new categories while maintaining or improving its accuracy on previously observed classes. Common methods to prevent forgetting previously learned classes include regularizing the neural network updates and storing exemplars in memory, which come with hyperparameters such as the learning rate, regularization strength, or the number of exemplars. However, these hyperparameters are usually only tuned at the start and then kept fixed throughout the learning sessions, ignoring the fact that newly encountered tasks may have varying levels of novelty or difficulty. This study investigates the necessity of hyperparameter `adaptivity' in Class-Incremental Learning: the ability to dynamically adjust hyperparameters such as the learning rate, regularization strength, and memory size according to the properties of the new task at hand. We propose AdaCL, a Bayesian Optimization-based approach to automatically and efficiently determine the optimal values for those parameters with each learning task. We show that adapting hyperpararmeters on each new task leads to improvement in accuracy, forgetting and memory. Code is available at https://github.com/ElifCerenGokYildirim/AdaCL.
• Abstract（参考訳）: クラスインクリメンタルラーニング(Class-Incremental Learning)は、より深い分類器を更新して新しいカテゴリを学習し、それまで観察されたクラスの精度を維持したり改善することを目的としている。 従来の学習クラスを忘れないようにするための一般的な方法は、ニューラルネットワークの更新の正規化や、学習率、正規化強度、前例の数などのハイパーパラメータを含むメモリ上の例の保存である。 しかしながら、これらのハイパーパラメータは通常、開始時にのみ調整され、学習セッションを通して固定される。 本研究では,クラス増分学習におけるハイパーパラメータ「適応性」の必要性について検討する。学習速度,正規化強度,メモリサイズなどのハイパーパラメータを,手前のタスクの特性に応じて動的に調整する能力である。 本稿では,ベイズ最適化に基づくAdaCLを提案する。 各タスクにハイパーパラメータを適用すると、精度、忘れ、記憶が向上することを示す。 コードはhttps://github.com/ElifCerenGokYildirim/AdaCLで入手できる。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Hyper-Learning for Gradient-Based Batch Size Adaptation [2.944323057176686]
  バッチサイズをスケジューリングして拡大することは、ディープニューラルネットワークをトレーニングする際のノイズを制御する効果的な戦略である。 学習可能なスケジューリングのためのバッチサイズ適応を行うためのアルゴリズムとしてArbiterを導入する。 いくつかの実験でArbiterの有効性を実証した。
  論文  参考訳（メタデータ） (2022-05-17T11:01:14Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。