論文の概要: On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning

• arxiv url: http://arxiv.org/abs/2510.09181v1
• Date: Fri, 10 Oct 2025 09:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:48.59558
• Title: On the Implicit Adversariality of Catastrophic Forgetting in Deep Continual Learning
• Title（参考訳）: 深層学習におけるカタストロフィック・フォーミングの帰納的適応性について
• Authors: Ze Peng, Jian Zhang, Jintao Guo, Lei Qi, Yang Gao, Yinghuan Shi,
• Abstract要約: 我々は,新タスクトレーニングが暗黙的に旧タスク知識に対する敵対的な攻撃であることを示す。 新しいタスク勾配は、古いタスクロスランドスケープの鋭い方向と自動的に正確に一致します。 提案するバックGPは,10.8%の遅延を低減し,平均12.7%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 48.47850660541198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning seeks the human-like ability to accumulate new skills in machine intelligence. Its central challenge is catastrophic forgetting, whose underlying cause has not been fully understood for deep networks. In this paper, we demystify catastrophic forgetting by revealing that the new-task training is implicitly an adversarial attack against the old-task knowledge. Specifically, the new-task gradients automatically and accurately align with the sharp directions of the old-task loss landscape, rapidly increasing the old-task loss. This adversarial alignment is intriguingly counter-intuitive because the sharp directions are too sparsely distributed to align with by chance. To understand it, we theoretically show that it arises from training's low-rank bias, which, through forward and backward propagation, confines the two directions into the same low-dimensional subspace, facilitating alignment. Gradient projection (GP) methods, a representative family of forgetting-mitigating methods, reduce adversarial alignment caused by forward propagation, but cannot address the alignment due to backward propagation. We propose backGP to address it, which reduces forgetting by 10.8% and improves accuracy by 12.7% on average over GP methods.
• Abstract（参考訳）: 継続的な学習は、機械知能に新しいスキルを蓄積する人間のような能力を求める。 その中心となる課題は破滅的な忘れ事であり、その根本原因はディープネットワークについて完全には理解されていない。 本稿では,新しいタスクトレーニングが暗黙的に旧タスク知識に対する敵対的攻撃であることを明らかにすることで,破滅的な忘れを抑える。 具体的には、新しいタスク勾配は、古いタスク損失ランドスケープの鋭い方向と自動的かつ正確に一致し、古いタスク損失を急速に増加させる。 この逆アライメントは、鋭い方向が小さすぎて偶然に一致しないため、興味深い反直感的である。 これを理解するために,2つの方向を同一の低次元部分空間に閉じ込め,アライメントを容易にする訓練の低ランクバイアスから生じることを理論的に示す。 遅延射影法 (GP) は, 後方伝播による対角方向のアライメントを減少させるが, 後方伝播によるアライメントには対処できない。 提案するバックGPは,10.8%の遅延を低減し,平均12.7%の精度向上を実現している。

関連論文リスト

• Does SGD really happen in tiny subspaces? [18.283839252425803]
  近年の研究では、トレーニング軌道に沿って、勾配がトレーニング損失 Hessian の低ランクトップ固有空間と整合していることが示されている。 本稿では,ニューラルネットワークが支配的な部分空間内でトレーニング可能かどうかを考察し,より効率的なトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T01:44:35Z)
• Learning Causal Alignment for Reliable Disease Diagnosis [32.94918336343018]
  モデル決定過程を専門家のものと整合させるための因果関係に基づくアライメントフレームワークを提案する。 本手法が2つの診断応用に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-03T03:20:07Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Adversarial Imitation Learning with Trajectorial Augmentation and Correction [61.924411952657756]
  本稿では,拡張軌道の成功を保った新しい拡張手法を提案する。 我々は, 合成専門家を用いた模倣エージェントの訓練を行うために, 逆データ拡張模倣アーキテクチャを開発した。 実験により,我々のデータ拡張戦略は,敵対的模倣の精度と収束時間を向上できることが示された。
  論文  参考訳（メタデータ） (2021-03-25T14:49:32Z)
• Second Order Optimization for Adversarial Robustness and Interpretability [6.700873164609009]
  本稿では,2次近似による第1次及び第2次情報を対向損失に組み込んだ新しい正則化器を提案する。 正規化器における1つの繰り返しのみを用いることで、先行勾配や曲率正規化よりも強い強靭性が得られることが示されている。 それは、ネットワークが人間の知覚によく適合する機能を学ぶという、ATの興味深い側面を保っている。
  論文  参考訳（メタデータ） (2020-09-10T15:05:14Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)
• Towards Unified INT8 Training for Convolutional Neural Network [83.15673050981624]
  共用畳み込みニューラルネットワークのための統合8ビット(INT8)トレーニングフレームワークを構築した。 まず、勾配の4つの特徴を経験的に発見し、勾配量子化の洞察力のある手がかりを与える。 勾配の方向ずれを低減させる方向感度勾配クリッピングを含む2つの普遍的手法を提案する。
  論文  参考訳（メタデータ） (2019-12-29T08:37:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。