論文の概要: Continual evaluation for lifelong learning: Identifying the stability gap

• arxiv url: http://arxiv.org/abs/2205.13452v2
• Date: Thu, 30 Mar 2023 19:44:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 17:37:48.074132
• Title: Continual evaluation for lifelong learning: Identifying the stability gap
• Title（参考訳）: 生涯学習のための連続的評価:安定性ギャップの同定
• Authors: Matthias De Lange, Gido van de Ven, Tinne Tuytelaars
• Abstract要約: 我々は、新しいタスクの学習を始める際に、一般的な最先端の手法のセットを忘れることに苦しむことを示す。 興味深いが潜在的に問題となる現象を安定性ギャップと呼ぶ。 我々は,各項目評価を用いた連続評価のためのフレームワークを構築し,最悪の場合のパフォーマンスを定量化するための新しい指標セットを定義する。
• 参考スコア（独自算出の注目度）: 35.99653845083381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time-dependent data-generating distributions have proven to be difficult for gradient-based training of neural networks, as the greedy updates result in catastrophic forgetting of previously learned knowledge. Despite the progress in the field of continual learning to overcome this forgetting, we show that a set of common state-of-the-art methods still suffers from substantial forgetting upon starting to learn new tasks, except that this forgetting is temporary and followed by a phase of performance recovery. We refer to this intriguing but potentially problematic phenomenon as the stability gap. The stability gap had likely remained under the radar due to standard practice in the field of evaluating continual learning models only after each task. Instead, we establish a framework for continual evaluation that uses per-iteration evaluation and we define a new set of metrics to quantify worst-case performance. Empirically we show that experience replay, constraint-based replay, knowledge-distillation, and parameter regularization methods are all prone to the stability gap; and that the stability gap can be observed in class-, task-, and domain-incremental learning benchmarks. Additionally, a controlled experiment shows that the stability gap increases when tasks are more dissimilar. Finally, by disentangling gradients into plasticity and stability components, we propose a conceptual explanation for the stability gap.
• Abstract（参考訳）: 時間に依存したデータ生成分布は、ニューラルネットワークの勾配に基づくトレーニングでは困難であることが証明されている。 この忘れを克服する継続的な学習分野の進歩にもかかわらず、新しいタスクを学習し始める際には、一連の一般的な最先端の手法が依然としてかなり忘れられてしまうが、しかしながら、この忘れは一時的なものであり、パフォーマンス回復の段階が続く。 興味深いが潜在的に問題となる現象を安定性ギャップと呼ぶ。 各タスクの後にのみ連続学習モデルを評価するという標準的な実践のため、安定性のギャップはレーダー下にとどまった可能性が高い。 代わりに、各項目評価を用いた連続評価のためのフレームワークを構築し、最悪の場合のパフォーマンスを定量化する新しいメトリクスセットを定義します。 経験的リプレイ,制約に基づくリプレイ,知識蒸留,パラメータ正規化といった手法は,安定性のギャップを生じやすく,安定性のギャップは,クラス,タスク,ドメインインクリメンタルな学習ベンチマークで観測可能であることを示す。 さらに、制御された実験は、タスクがより異なる場合に安定性ギャップが増加することを示している。 最後に, 塑性および安定性成分に勾配を分散させることにより, 安定性ギャップの概念的説明を提案する。

関連論文リスト

• Exploring the Stability Gap in Continual Learning: The Role of the Classification Head [0.6749750044497732]
  安定性のギャップは、トレーニング中に部分的に回復する前に、モデルが最初に学習したタスクのパフォーマンスを失う現象である。 バックボーンと分類ヘッドが安定性のギャップに与える影響を評価できるツールとして,NMC(Nest-mean Classifier)を導入した。 実験の結果, NMCは最終性能を向上するだけでなく, 各種連続学習ベンチマークのトレーニング安定性を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T15:45:01Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks [14.325370691984345]
  最近の研究では、新しいタスクに移行する際に、以前に学習したタスクに対する一時的なパフォーマンス低下が確認されている。 また,同種タスクの漸進的連立トレーニングを行う際にも,安定性のギャップが生じることを示した。
  論文  参考訳（メタデータ） (2024-06-07T17:44:48Z)
• Stability Evaluation via Distributional Perturbation Analysis [28.379994938809133]
  分布摂動に基づく安定性評価基準を提案する。 我々の安定性評価基準は,エフェダデータの腐敗とエフェサブ人口シフトの両方に対処できる。 実証実験により,現実のアプリケーションにまたがる安定性評価基準の実用性を検証する。
  論文  参考訳（メタデータ） (2024-05-06T06:47:14Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• New metrics for analyzing continual learners [27.868967961503962]
  継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。 この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。 課題の難しさを考慮に入れた新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:53:33Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Bayesian Algorithms Learn to Stabilize Unknown Continuous-Time Systems [0.0]
  線形力学系は、不確実な力学を持つ植物の学習に基づく制御のための標準モデルである。 この目的のための信頼性の高い安定化手順は、不安定なデータから有効に学習し、有限時間でシステムを安定化させることができない。 本研究では,未知の連続時間線形系を安定化する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-30T15:31:35Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。