論文の概要: Asymptotic analysis of shallow and deep forgetting in replay with Neural Collapse

• arxiv url: http://arxiv.org/abs/2512.07400v1
• Date: Mon, 08 Dec 2025 10:35:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.84186
• Title: Asymptotic analysis of shallow and deep forgetting in replay with Neural Collapse
• Title（参考訳）: 神経崩壊を伴うリプレイにおける浅部および深部記憶の漸近解析
• Authors: Giulia Lanzillotta, Damiano Meier, Thomas Hofmann,
• Abstract要約: 連続学習(CL)における永続的パラドックスは、ニューラルネットワークが出力予測が失敗しても、過去のタスクの線形的に分離可能な表現を保持することが多いことである。 最小限のバッファが機能幾何のアンカーを成功させる一方で、浅い忘れを緩和するには、通常、かなり大きなバッファを必要とする。
• 参考スコア（独自算出の注目度）: 32.34050220649143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A persistent paradox in continual learning (CL) is that neural networks often retain linearly separable representations of past tasks even when their output predictions fail. We formalize this distinction as the gap between deep feature-space and shallow classifier-level forgetting. We reveal a critical asymmetry in Experience Replay: while minimal buffers successfully anchor feature geometry and prevent deep forgetting, mitigating shallow forgetting typically requires substantially larger buffer capacities. To explain this, we extend the Neural Collapse framework to the sequential setting. We characterize deep forgetting as a geometric drift toward out-of-distribution subspaces and prove that any non-zero replay fraction asymptotically guarantees the retention of linear separability. Conversely, we identify that the "strong collapse" induced by small buffers leads to rank-deficient covariances and inflated class means, effectively blinding the classifier to true population boundaries. By unifying CL with out-of-distribution detection, our work challenges the prevailing reliance on large buffers, suggesting that explicitly correcting these statistical artifacts could unlock robust performance with minimal replay.
• Abstract（参考訳）: 連続学習(CL)における永続的パラドックスは、ニューラルネットワークが出力予測が失敗しても、過去のタスクの線形的に分離可能な表現を保持することが多いことである。 我々は、この区別を、深い特徴空間と浅い分類器レベルの忘れのギャップとして定式化する。 最小限のバッファが特徴幾何をアンカーし、深い忘れの防止に成功しているのに対して、浅い忘れの軽減は典型的にはバッファ容量を大幅に大きくする必要がある。 これを説明するために、我々はNeural Collapseフレームワークをシーケンシャルな設定に拡張する。 我々は,分布外部分空間への幾何学的ドリフトとして深い忘れを特徴付け,非ゼロリプレイ率が線形分離性の維持を漸近的に保証していることを証明する。 逆に、小さなバッファによって引き起こされる「強い崩壊」がランク不足の共分散をもたらし、膨らませられたクラスは、事実上、分類器を真の人口境界に盲目にする。 CLをアウト・オブ・ディストリビューション検出と統一することにより、我々の作業は大きなバッファへの依存を克服し、これらの統計的アーティファクトを明示的に修正することで、最小限のリプレイで堅牢なパフォーマンスを解放できる可能性が示唆された。

関連論文リスト

• SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning [48.41770886055744]
  Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。 いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。 本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。 新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
  論文  参考訳（メタデータ） (2025-10-28T09:06:19Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Preserving instance continuity and length in segmentation through connectivity-aware loss computation [0.29656637520758655]
  本稿では、出力インスタンスの接続性を維持するために、負中心線損失と簡易位相損失という2つの新しい損失関数を提案する。 我々は,軸索初期セグメント(AIS)の3次元光シート蛍光顕微鏡データセットに対するアプローチについて検討した。
  論文  参考訳（メタデータ） (2025-09-03T09:08:47Z)
• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers [0.0]
  同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。 提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-12T11:16:57Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。