論文の概要: Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation

• arxiv url: http://arxiv.org/abs/2210.00713v1
• Date: Mon, 3 Oct 2022 04:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:26:23.467960
• Title: Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation
• Title（参考訳）: テイラー展開近似を用いた連続学習のためのメタラーニング
• Authors: Xiaohan Zou, Tong Lin
• Abstract要約: 連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。 本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。 提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to alleviate catastrophic forgetting when handling consecutive tasks under non-stationary distributions. Gradient-based meta-learning algorithms have shown the capability to implicitly solve the transfer-interference trade-off problem between different examples. However, they still suffer from the catastrophic forgetting problem in the setting of continual learning, since the past data of previous tasks are no longer available. In this work, we propose a novel efficient meta-learning algorithm for solving the online continual learning problem, where the regularization terms and learning rates are adapted to the Taylor approximation of the parameter's importance to mitigate forgetting. The proposed method expresses the gradient of the meta-loss in closed-form and thus avoid computing second-order derivative which is computationally inhibitable. We also use Proximal Gradient Descent to further improve computational efficiency and accuracy. Experiments on diverse benchmarks show that our method achieves better or on-par performance and much higher efficiency compared to the state-of-the-art approaches.
• Abstract（参考訳）: 連続学習は、非定常分布下で連続したタスクを扱う際の破滅的な忘れを緩和することを目的としている。 勾配に基づくメタ学習アルゴリズムは、異なる例間の移動干渉トレードオフ問題を暗黙的に解決する能力を示した。 しかし、過去のタスクのデータはもはや利用できないため、継続学習の設定における破滅的な忘れの問題に悩まされている。 本研究では,オンライン連続学習問題の解法として,正規化項と学習率をTaylor近似に適応させるメタ学習アルゴリズムを提案する。 提案手法は,メタロスの勾配を閉形式で表現し,計算的に抑制可能な2階微分計算を避ける。 また、計算効率と精度をさらに向上するために、近似勾配Descent を用いる。 種々のベンチマーク実験により,本手法は最先端の手法と比較して,優れた性能と高い効率が得られることが示された。

関連論文リスト

• On the Convergence of Continual Learning with Adaptive Methods [4.351356718501137]
  適応型非連続学習法(NCCL)を提案する。 提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T14:28:27Z)
• Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning [19.850893012601638]
  連続学習は、前のタスクから得た知識を忘れずに、一連のタスクを逐次学習することを目的としている。 本稿では,Hessian Aware Low-Rank Perturbationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-26T01:44:01Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Parameter-free Gradient Temporal Difference Learning [3.553493344868414]
  強化学習のためのグラデーションに基づく時間差アルゴリズムを開発。 当社のアルゴリズムは線形時間で動作し、GTD2のものを$log$ファクタまで一致させる高確率収束を保証します。 本実験は,本手法が完全に調整されたベースラインに対して高い予測性能を保ちながら,チューニングを一切行わないことを示す。
  論文  参考訳（メタデータ） (2021-05-10T06:07:05Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。