論文の概要: Continual evaluation for lifelong learning: Identifying the stability gap

• arxiv url: http://arxiv.org/abs/2205.13452v1
• Date: Thu, 26 May 2022 15:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 12:37:08.734135
• Title: Continual evaluation for lifelong learning: Identifying the stability gap
• Title（参考訳）: 生涯学習のための連続的評価:安定性ギャップの同定
• Authors: Matthias De Lange, Gido van de Ven, Tinne Tuytelaars
• Abstract要約: そこで我々は,定点評価の連続評価のためのフレームワークを提案し,新しいメトリクスセットを定義した。 新しいタスクを学ぶと、過去のタスクのパフォーマンスが大幅に低下するが、過渡的に低下する。
• 参考スコア（独自算出の注目度）: 35.99653845083381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Introducing a time dependency on the data generating distribution has proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previous timesteps. Continual learning aims to overcome the greedy optimization to enable continuous accumulation of knowledge over time. The data stream is typically divided into locally stationary distributions, called tasks, allowing task-based evaluation on held-out data from the training tasks. Contemporary evaluation protocols and metrics in continual learning are task-based and quantify the trade-off between stability and plasticity only at task transitions. However, our empirical evidence suggests that between task transitions significant, temporary forgetting can occur, remaining unidentified in task-based evaluation. Therefore, we propose a framework for continual evaluation that establishes per-iteration evaluation and define a new set of metrics that enables identifying the worst-case performance of the learner over its lifetime. Performing continual evaluation, we empirically identify that replay suffers from a stability gap: upon learning a new task, there is a substantial but transient decrease in performance on past tasks. Further conceptual and empirical analysis suggests not only replay-based, but also regularization-based continual learning methods are prone to the stability gap.
• Abstract（参考訳）: データ生成分布に時間的依存を導入することは、ニューラルネットワークの勾配に基づくトレーニングでは困難であることが証明されている。 継続的学習は、時間の経過とともに知識の継続的な蓄積を可能にするために、欲望の最適化を克服することを目的としている。 データストリームは通常、タスクと呼ばれるローカルな定常分布に分割され、トレーニングタスクから保持されたデータに対するタスクベースの評価が可能になる。 連続学習における現代評価プロトコルとメトリクスはタスクベースであり、タスク遷移のみにおいて安定性と可塑性の間のトレードオフを定量化する。 しかし、経験的な証拠から、タスクトランジション間の関係は重要であり、タスクベースの評価では未確認のままであることが示唆される。 そこで本研究では,着想評価の確立と,学習者の生涯における最悪のパフォーマンスを識別する新たな指標セットを定義するための連続評価フレームワークを提案する。 新しいタスクを学習すると、過去のタスクでパフォーマンスが大幅に低下するが、一時的な低下が発生します。 さらなる概念的および経験的分析は、リプレイに基づくだけでなく、正規化に基づく連続学習手法も安定性のギャップを生じやすいことを示唆している。

関連論文リスト

• Exploring the Stability Gap in Continual Learning: The Role of the Classification Head [0.6749750044497732]
  安定性のギャップは、トレーニング中に部分的に回復する前に、モデルが最初に学習したタスクのパフォーマンスを失う現象である。 バックボーンと分類ヘッドが安定性のギャップに与える影響を評価できるツールとして,NMC(Nest-mean Classifier)を導入した。 実験の結果, NMCは最終性能を向上するだけでなく, 各種連続学習ベンチマークのトレーニング安定性を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T15:45:01Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks [14.325370691984345]
  最近の研究では、新しいタスクに移行する際に、以前に学習したタスクに対する一時的なパフォーマンス低下が確認されている。 また,同種タスクの漸進的連立トレーニングを行う際にも,安定性のギャップが生じることを示した。
  論文  参考訳（メタデータ） (2024-06-07T17:44:48Z)
• Stability Evaluation via Distributional Perturbation Analysis [28.379994938809133]
  分布摂動に基づく安定性評価基準を提案する。 我々の安定性評価基準は,エフェダデータの腐敗とエフェサブ人口シフトの両方に対処できる。 実証実験により,現実のアプリケーションにまたがる安定性評価基準の実用性を検証する。
  論文  参考訳（メタデータ） (2024-05-06T06:47:14Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• New metrics for analyzing continual learners [27.868967961503962]
  継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。 この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。 課題の難しさを考慮に入れた新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:53:33Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Bayesian Algorithms Learn to Stabilize Unknown Continuous-Time Systems [0.0]
  線形力学系は、不確実な力学を持つ植物の学習に基づく制御のための標準モデルである。 この目的のための信頼性の高い安定化手順は、不安定なデータから有効に学習し、有限時間でシステムを安定化させることができない。 本研究では,未知の連続時間線形系を安定化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-30T15:31:35Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。