論文の概要: On the Plasticity Collapse in Continual Machine Unlearning
- arxiv url: http://arxiv.org/abs/2608.29513v1
- Date: Sun, 30 Aug 2026 02:33:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.985801
- Title: On the Plasticity Collapse in Continual Machine Unlearning
- Title(参考訳): 連続機械学習における塑性崩壊について
- Abstract要約: マシンアンラーニングは、プライバシと規制要件に応じて、特定のデータの影響を選択的に除去することを可能にする。
前者は単発のアンラーニングを主に研究していたが、現実のシステムは継続的なアンラーニングを許容しなければならない。
連続的な未学習操作はパラメータ空間に幾何的制約を蓄積し、将来の更新を制限する飽和部分空間をもたらすことを示す。
- 参考スコア(独自算出の注目度): 26.744674850970625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning enables deep neural networks to selectively remove the influence of specific data in response to privacy and regulatory requirements. While prior work largely studies single-shot unlearning, real-world systems must accommodate continual unlearning, where multiple unlearning requests occur sequentially over time. In this work, we identify a fundamental limitation of this setting: plasticity collapse, a progressive breakdown in a model's ability to effectively forget. Through theoretical analysis of continual unlearning dynamics, we show that continual unlearning operations accumulate geometric constraints in parameter space, leading to saturated subspaces that restrict future updates. This structural effect induces two distinct failure modes: (1) Forward failure -- diminishing forgetting quality for subsequent tasks, and (2) Backward failure -- spontaneous re-memorization of previously forgotten information. Extensive experiments across multiple architectures, datasets, and methods in image classification confirm that plasticity collapse is not an artifact of specific implementations, but a pervasive phenomenon inherent to continual unlearning. Our findings reveal a critical barrier to the long-term reliability of machine unlearning systems and motivate the development of plasticity-preserving unlearning algorithms. Our code is available at https://github.com/TIML-Group/Continual-Machine-Unlearning-Plasticity-Collapse
- Abstract(参考訳): マシンアンラーニングにより、プライバシーと規制要件に応じて、ディープニューラルネットワークが特定のデータの影響を選択的に除去できる。
先行研究は主に単発のアンラーニングを研究しているが、現実のシステムは連続的なアンラーニングに対応しなくてはならない。
本研究では, 塑性崩壊, モデルが効果的に忘れる能力の進歩的破壊という, この設定の基本的な限界を同定する。
連続的アンラーニング力学の理論解析を通して、連続的アンラーニング演算がパラメータ空間に幾何的制約を蓄積し、将来の更新を制限する飽和部分空間をもたらすことを示す。
この構造的効果は、(1)前向きの障害 -- 後続のタスクの品質を忘れること。
複数のアーキテクチャ、データセット、画像分類の手法にわたる大規模な実験により、塑性崩壊は特定の実装の人工物ではなく、連続的な未学習に固有の広汎な現象であることが確認された。
本研究は, 機械学習システムの長期的信頼性に対する重要な障壁を明らかにし, 可塑性保存型未学習アルゴリズムの開発を動機付けている。
私たちのコードはhttps://github.com/TIML-Group/Continual-Machine-Unlearning-Plasticity-Collapseで利用可能です。
関連論文リスト
- Recover, Discover, Plan: Learning Skills and Concepts from Robot Failures [50.668639270656115]
ReSYNCは、スキルと概念を学び、抽象的な計画を支援するために抽象ライブラリを洗練するロボットである。
本稿では,ReSYNCの抽象ライブラリを継続的に拡張・改良する能力により,従来は見つからなかった長期の問題を解くことができることを示す。
全体として、ReSYNCは、スケーラブルで障害対応の計画のための抽象化を自律的に取得するロボットにとって、重要なステップである。
論文 参考訳(メタデータ) (2026-06-16T17:59:57Z) - Intrinsic preservation of plasticity in continual quantum learning [0.8312877398178786]
量子学習モデルは、長期にわたって可塑性を保ちながら、自然に可塑性の喪失を克服していることを示す。
我々は、この利点を複数の学習パラダイムから幅広いタスクに体系的に示す。
我々の結果は、機械学習における量子コンピューティングの有用性が、潜在的なスピードアップを超えて拡張されていることを示唆している。
論文 参考訳(メタデータ) (2025-11-21T13:14:40Z) - Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。
本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。
本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
論文 参考訳(メタデータ) (2025-07-31T05:34:27Z) - Weight Factorization and Centralization for Continual Learning in Speech Recognition [55.63455095283984]
リハーサルのない多言語、言語に依存しない状態でモデルを継続的に訓練することは、破滅的な忘れを招きかねない。
人間の脳が覚醒サイクルを通じて知識を学習・統合する能力に着想を得て,継続的な学習手法を提案する。
論文 参考訳(メタデータ) (2025-06-19T19:59:24Z) - A ghost mechanism: An analytical model of abrupt learning [6.509233267425589]
一次元のシステムでさえ、分岐よりもゴーストポイントを通して突然学習できることを示す。
本モデルは,突発学習のための分岐のない機構を明らかにし,学習力学の安定化における意図的不確実性と冗長性の両方の重要性を示す。
論文 参考訳(メタデータ) (2025-01-04T20:49:20Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳(メタデータ) (2024-02-29T00:02:33Z) - Maintaining Plasticity in Deep Continual Learning [12.27972591521307]
連続学習のためのデータセットをタスクのシーケンスとして利用して,可塑性損失の実証を行う。
ImageNetでは、バイナリ分類のパフォーマンスは、初期タスクで89%の精度から77%に低下した。
新しいアルゴリズム -- 連続的なバックプロパゲーション -- は、従来のバックプロパゲーションを変更して、各例の後で、あまり使われていないユニットを再使用する。
論文 参考訳(メタデータ) (2023-06-23T23:19:21Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳(メタデータ) (2023-01-03T10:37:11Z) - Cooperative data-driven modeling [44.99833362998488]
メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。
異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。
人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。
これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
論文 参考訳(メタデータ) (2022-11-23T14:27:25Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。