論文の概要: The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks

• arxiv url: http://arxiv.org/abs/2406.05114v1
• Date: Fri, 7 Jun 2024 17:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:02:56.875896
• Title: The Expanding Scope of the Stability Gap: Unveiling its Presence in Joint Incremental Learning of Homogeneous Tasks
• Title（参考訳）: 安定ギャップの拡がり--一様課題の連関学習におけるその存在の解明
• Authors: Sandesh Kamath, Albin Soutif-Cormerais, Joost van de Weijer, Bogdan Raducanu,
• Abstract要約: 最近の研究では、新しいタスクに移行する際に、以前に学習したタスクに対する一時的なパフォーマンス低下が確認されている。 また,同種タスクの漸進的連立トレーニングを行う際にも,安定性のギャップが生じることを示した。
• 参考スコア（独自算出の注目度）: 14.325370691984345
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent research identified a temporary performance drop on previously learned tasks when transitioning to a new one. This drop is called the stability gap and has great consequences for continual learning: it complicates the direct employment of continually learning since the worse-case performance at task-boundaries is dramatic, it limits its potential as an energy-efficient training paradigm, and finally, the stability drop could result in a reduced final performance of the algorithm. In this paper, we show that the stability gap also occurs when applying joint incremental training of homogeneous tasks. In this scenario, the learner continues training on the same data distribution and has access to all data from previous tasks. In addition, we show that in this scenario, there exists a low-loss linear path to the next minima, but that SGD optimization does not choose this path. We perform further analysis including a finer batch-wise analysis which could provide insights towards potential solution directions.
• Abstract（参考訳）: 最近の研究では、新しいタスクに移行する際に、以前に学習したタスクに対する一時的なパフォーマンス低下が確認されている。 タスク境界における最悪ケースのパフォーマンスが劇的であるため、継続的な学習の直接的な使用を複雑にし、エネルギー効率のよいトレーニングパラダイムとしての可能性を制限し、最後に、安定性の低下はアルゴリズムの最終性能を低下させる可能性がある。 本稿では,同種タスクの連立インクリメンタルトレーニングを適用する際にも,安定性のギャップが生じることを示す。 このシナリオでは、学習者は同じデータ配布のトレーニングを続け、以前のタスクからすべてのデータにアクセスできます。 さらに、このシナリオでは、次のミニマへの低損失線形経路が存在するが、SGD最適化はこの経路を選択しないことを示す。 より詳細なバッチ分析を含むさらなる分析を行い、潜在的な解決策の方向性に関する洞察を提供する。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Improving Data-aware and Parameter-aware Robustness for Continual Learning [3.480626767752489]
  本報告では, オフラヤの非効率な取扱いから, この不整合が生じることを解析する。 本稿では,ロバスト連続学習(RCL)手法を提案する。 提案手法は, 堅牢性を効果的に維持し, 新たなSOTA(State-of-the-art)結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T11:21:26Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• CLUTR: Curriculum Learning via Unsupervised Task Representation Learning [130.79246770546413]
  CLUTRは、タスク表現とカリキュラム学習を2段階最適化に分離する、新しいカリキュラム学習アルゴリズムである。 CLUTRは、CarRacingとナビゲーション環境における一般化とサンプル効率の観点から、原則的かつ一般的なUED手法であるPAIREDよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-19T01:45:29Z)
• Online Continual Learning via the Meta-learning Update with Multi-scale Knowledge Distillation and Data Augmentation [4.109784267309124]
  継続的な学習は、一連のタスクから現在のタスクを迅速かつ継続的に学習することを目的としている。 この手法の一般的な制限は、前のタスクと現在のタスクの間のデータ不均衡である。 マルチスケール知識蒸留とデータ拡張によるメタラーニング更新という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-12T10:03:53Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Continual evaluation for lifelong learning: Identifying the stability gap [35.99653845083381]
  我々は、新しいタスクの学習を始める際に、一般的な最先端の手法のセットを忘れることに苦しむことを示す。 興味深いが潜在的に問題となる現象を安定性ギャップと呼ぶ。 我々は,各項目評価を用いた連続評価のためのフレームワークを構築し,最悪の場合のパフォーマンスを定量化するための新しい指標セットを定義する。
  論文  参考訳（メタデータ） (2022-05-26T15:56:08Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)
• Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp [119.69304125647785]
  本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。 具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。 また, 建設過程を自動案内する判別器を開発した。
  論文  参考訳（メタデータ） (2020-11-30T01:20:23Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。