論文の概要: Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning

• arxiv url: http://arxiv.org/abs/2606.06032v1
• Date: Thu, 04 Jun 2026 11:25:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.750785
• Title: Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning
• Title（参考訳）: アクセシビリティの崩壊としての破滅的予測:連続学習における知識の持続性のための3レベルフレームワーク
• Authors: Ayushman Trivedi, Bhavika Melwani,
• Abstract要約: 破滅的な忘れは、シーケンシャルラーニング中に獲得した知識の不可逆的消去と一般的に解釈される。 本研究では,タスク表現の完全破壊ではなく,情報保存へのアクセシビリティの欠如から,忘れることが生じる,という別の視点を考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting is commonly interpreted as the irreversible erasure of previously acquired knowledge during sequential learning. In this work, we investigate an alternative perspective: that forgetting may arise not from complete destruction of task representations but from a loss of accessibility to preserved information. We introduce a three-level framework separating knowledge storage, representation, and accessibility, and evaluate each component through a series of continual-learning experiments on sequential CIFAR-100 classification using ResNet-18. Our analysis combines checkpoint persistence, linear probing, representation geometry, classifier-reset recovery, and layer-wise recoverability experiments. We observe complete behavioral forgetting of earlier tasks, with task accuracy collapsing from 54.8% to 0%, while linear probe performance retains approximately 76% of the original representational information. Furthermore, retraining only the final classifier restores 75.7% of the original task performance without modifying the backbone network. Layer-wise analysis reveals that early and intermediate layers preserve highly recoverable task information despite severe degradation at later stages. Projection-energy and principal-angle analyses indicate that retained knowledge persists as distributed high-dimensional representations rather than through preservation of a small dominant subspace. These findings suggest that catastrophic forgetting is better characterized as an accessibility failure than complete representational erasure, and that substantial task-relevant information remains embedded within neural representations even after functional forgetting has occurred.
• Abstract（参考訳）: 破滅的な忘れは、シーケンシャルラーニング中に獲得した知識の不可逆的な消去と一般的に解釈される。 本研究では,タスク表現の完全破壊ではなく,情報保存へのアクセシビリティの欠如から,忘れることが生じる,という別の視点を考察する。 本稿では,知識記憶,表現,アクセシビリティを分離した3段階のフレームワークを導入し,ResNet-18を用いた連続CIFAR-100分類に関する連続的な学習実験を通じて各コンポーネントの評価を行う。 本分析では, チェックポイントの持続性, 線形探索, 表現幾何学, 分類器・リセット復元, レイヤワイド・リカバリ性実験を組み合わせる。 従来のタスクの完全な動作忘れは54.8%から0%に減少し,線形プローブ性能は元の表現情報の約76%を維持している。 さらに、最終分類器のみの再訓練は、バックボーンネットワークを変更することなく、元のタスク性能の75.7%を復元する。 レイヤワイズ分析により、後段の深刻な劣化にもかかわらず、初期層と中間層が高度に回復可能なタスク情報を保存していることが明らかになった。 射影エネルギーおよび主角解析は、保持された知識は、小さな支配的な部分空間の保存を通してではなく、分散された高次元表現として持続することを示している。 これらの結果から,大惨な忘れは完全な表現的消去よりもアクセシビリティー障害として特徴付けられることが示唆され,機能的忘れ込みが生じた後も,かなりのタスク関連情報が神経表現に埋め込まれていることが示唆された。

関連論文リスト

• Lost or Hidden? A Concept-Level Forgetting in Supervised Continual Learning [12.190665911412466]
  本稿では, 忘れを明らかに概念の削除, 回復可能性, 否定可能性に分解するフレームワークを提案する。 概念レベルの情報の多くは、線形性仮定の下で復元できることがよく示される。 以上の結果から,概念レベルの忘れ方の大部分は,表現的アクセシビリティの変化によるものであることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T20:07:10Z)
• Provable Effects of Data Replay in Continual Learning: A Feature Learning Perspective [28.881077229756404]
  本稿では,連続学習における完全データ再生学習を総合的に分析するための理論的枠組みを提案する。 我々は,信号対雑音比(SNR)を,忘れに影響を及ぼす重要な要因とみなす。 高い信号タスクの優先順位付けは、下信号タスクの学習を容易にするだけでなく、破滅的な忘れの防止にも役立ちます。
  論文  参考訳（メタデータ） (2026-02-02T20:21:17Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
  既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。 また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。 連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:58:20Z)
• A Scalable and Generalized Deep Learning Framework for Anomaly Detection in Surveillance Videos [0.47279903800557493]
  ビデオにおける異常検出は、暴力、万引き、破壊など、複雑さ、騒音、多様な活動の性質のために困難である。 既存のアプローチでは、広範囲な再トレーニングなしに、さまざまな異常なタスクにディープラーニングモデルを適用するのに苦労しています。 本研究では,特徴一般化向上のための伝達学習,特徴表現向上のためのモデル融合,マルチタスク分類という,3つの重要なコンポーネントからなる新しいDLフレームワークを導入する。 RLVSデータセット(違反検出)では97.99%、UCFデータセットでは83.59%の精度を達成した。
  論文  参考訳（メタデータ） (2024-07-17T22:41:12Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Proper Reuse of Image Classification Features Improves Object Detection [4.240984948137734]
  トランスファーラーニングの一般的な実践は、データに基づく上流タスクで事前学習することで、下流モデルの重み付けを初期化することである。 近年の研究では、長いトレーニング体制下では必須ではないことが示されており、背骨をスクラッチからトレーニングするためのレシピを提供している。 知識保存の極端な形態 -- 分類器dのバックボーンを凍結する -- が、一貫して多くの異なる検出モデルを改善していることを示す。
  論文  参考訳（メタデータ） (2022-04-01T14:44:47Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。