論文の概要: Continual Learning with Recursive Gradient Optimization

• arxiv url: http://arxiv.org/abs/2201.12522v1
• Date: Sat, 29 Jan 2022 07:50:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 06:39:01.223665
• Title: Continual Learning with Recursive Gradient Optimization
• Title（参考訳）: 逐次勾配最適化による連続学習
• Authors: Hao Liu, Huaping Liu
• Abstract要約: RGOは反復的に更新された勾配で構成されており、データ再生なしで忘れを最小化するために勾配を変更する。 実験により、RGOは人気のある連続分類ベンチマークで大幅に性能が向上したことが示された。
• 参考スコア（独自算出の注目度）: 20.166372047414093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning multiple tasks sequentially without forgetting previous knowledge, called Continual Learning(CL), remains a long-standing challenge for neural networks. Most existing methods rely on additional network capacity or data replay. In contrast, we introduce a novel approach which we refer to as Recursive Gradient Optimization(RGO). RGO is composed of an iteratively updated optimizer that modifies the gradient to minimize forgetting without data replay and a virtual Feature Encoding Layer(FEL) that represents different long-term structures with only task descriptors. Experiments demonstrate that RGO has significantly better performance on popular continual classification benchmarks when compared to the baselines and achieves new state-of-the-art performance on 20-split-CIFAR100(82.22%) and 20-split-miniImageNet(72.63%). With higher average accuracy than Single-Task Learning(STL), this method is flexible and reliable to provide continual learning capabilities for learning models that rely on gradient descent.
• Abstract（参考訳）: 従来の知識を忘れずに複数のタスクを逐次学習するcontinual learning(cl)は、ニューラルネットワークにとって長年の課題である。 既存の手法の多くは、追加のネットワーク容量やデータ再生に依存している。 対照的に、我々はRecursive Gradient Optimization(RGO)と呼ばれる新しいアプローチを導入する。 RGOは、データ再生なしで忘れを最小化するために勾配を変更する反復的に更新されたオプティマイザと、タスク記述子のみを持つ異なる長期構造を表す仮想フィーチャーエンコーディングレイヤ(FEL)で構成されている。 実験の結果、RGOはベースラインと比較すると、一般的な連続分類ベンチマークで大幅に性能が向上し、20-split-CIFAR100(82.22%)と20-split-miniImageNet(72.63%)で新しい最先端のパフォーマンスを達成した。 STL(Single-Task Learning)よりも平均精度が高いため、勾配勾配に依存する学習モデルに対して、連続的な学習能力を柔軟かつ信頼性が高い。

関連論文リスト

• Evolutionary Retrofitting [42.21143557577615]
  AfterLearnERは、完全に訓練された機械学習モデルに進化的手法を含む、微分不可能な最適化を適用することで構成される。 AfterLearnERの効率は、奥行き検知におけるしきい値に基づく基準、音声合成における単語誤り率、3次元生成逆数ネットワーク(GAN)における画像品質といった、識別不能な信号に対処することによって実証される。 AfterLearnERの利点は、その汎用性(グラデーションは必要ない)、人間の評価、限定的なオーバーフィッティング、理論的な研究、そしてその常に振舞いなど、微分不可能なフィードバックを使用することである。
  論文  参考訳（メタデータ） (2024-10-15T06:59:32Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• SLCA: Slow Learner with Classifier Alignment for Continual Learning on a Pre-trained Model [73.80068155830708]
  予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。 Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。 さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
  論文  参考訳（メタデータ） (2023-03-09T08:57:01Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Gradient Projection Memory for Continual Learning [5.43185002439223]
  過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。 ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
  論文  参考訳（メタデータ） (2021-03-17T16:31:29Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。