論文の概要: Understanding the behavior of representation forgetting in continual learning
- arxiv url: http://arxiv.org/abs/2505.20970v2
- Date: Wed, 28 May 2025 02:58:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 12:33:41.781276
- Title: Understanding the behavior of representation forgetting in continual learning
- Title（参考訳）: 連続学習における表現忘れ行動の理解
- Authors: Joonkyu Kim, Yejin Kim, Jy-yong Sohn,
- Abstract要約: 継続的な学習シナリオでは、以前に学んだタスクの破滅的な忘れ忘れが重要な問題である。
本稿では,表現を忘れることに関する最初の理論的分析を行い,この分析を用いて連続学習の振る舞いをよりよく理解する。
- 参考スコア（独自算出の注目度）: 12.769918589649299
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In continual learning scenarios, catastrophic forgetting of previously learned tasks is a critical issue, making it essential to effectively measure such forgetting. Recently, there has been growing interest in focusing on representation forgetting, the forgetting measured at the hidden layer. In this paper, we provide the first theoretical analysis of representation forgetting and use this analysis to better understand the behavior of continual learning. First, we introduce a new metric called representation discrepancy, which measures the difference between representation spaces constructed by two snapshots of a model trained through continual learning. We demonstrate that our proposed metric serves as an effective surrogate for the representation forgetting while remaining analytically tractable. Second, through mathematical analysis of our metric, we derive several key findings about the dynamics of representation forgetting: the forgetting occurs more rapidly to a higher degree as the layer index increases, while increasing the width of the network slows down the forgetting process. Third, we support our theoretical findings through experiments on real image datasets, including Split-CIFAR100 and ImageNet1K.
- Abstract（参考訳）: 継続的な学習シナリオでは、以前に学習したタスクの破滅的な忘れが重要な問題であり、そのような忘れを効果的に測定することが不可欠である。
近年, 隠蔽層で測定された表現の忘れ, 表現の忘れ, に焦点をあてることへの関心が高まっている。
本稿では,表現を忘れる最初の理論的分析を行い,この分析を用いて連続学習の振る舞いをよりよく理解する。
まず,連続的な学習を通して学習したモデルの2つのスナップショットによって構成された表現空間の差を測定する,表現不一致という新しい指標を提案する。
提案手法は,解析的に抽出可能でありながら,その表現を忘れる効果的なサロゲートとして機能することを実証する。
第二に、我々の計量の数学的解析により、表現のダイナミクスに関するいくつかの重要な知見が導かれる: 層指数が増加するにつれて、忘れることがより高速に起こる一方で、ネットワークの幅が大きくなると、忘れる過程が遅くなる。
第3に、Split-CIFAR100 や ImageNet1K などの実画像データセットの実験を通じて、理論的な結果をサポートする。
関連論文リスト
- Analysis of Spatial augmentation in Self-supervised models in the purview of training and test distributions [38.77816582772029]
本稿では,自己指導型表現学習における空間拡張手法の実証的研究について述べる。
a) ランダムトリミングを2つの別々の拡張に分解し、オーバーラップとパッチを行い、重複領域とパッチサイズがダウンストリームタスクの精度に与える影響を詳細に分析する。
以前の文献で報告されたように、なぜカットアウト強化が良い表現を学ばないのかについての洞察を提供する。
論文 参考訳（メタデータ） (2024-09-26T19:18:36Z) - Hierarchical Decomposition of Prompt-Based Continual Learning:
Rethinking Obscured Sub-optimality [55.88910947643436]
大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。
HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。
実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
論文 参考訳（メタデータ） (2023-10-11T06:51:46Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z) - Anatomy of Catastrophic Forgetting: Hidden Representations and Task
Semantics [24.57617154267565]
ニューラルネットワークモデルにおいて,忘れることが表現に与える影響について検討する。
深い層が忘れる原因であることに気付きました。
また,CIFAR-100をベースとした,現実的な入力分布シフトを近似するタスクも導入する。
論文 参考訳（メタデータ） (2020-07-14T23:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。