論文の概要: A Unified Framework for Continual Learning and Unlearning

• arxiv url: http://arxiv.org/abs/2408.11374v2
• Date: Wed, 25 Dec 2024 09:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:21:51.197836
• Title: A Unified Framework for Continual Learning and Unlearning
• Title（参考訳）: 継続学習とアンラーニングのための統一フレームワーク
• Authors: Romit Chatterjee, Vikram Chundawat, Ayush Tarun, Ankur Mali, Murari Mandal,
• Abstract要約: 継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することにより,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
• 参考スコア（独自算出の注目度）: 9.538733681436836
• License:
• Abstract: Continual learning and machine unlearning are crucial challenges in machine learning, typically addressed separately. Continual learning focuses on adapting to new knowledge while preserving past information, whereas unlearning involves selectively forgetting specific subsets of data. In this paper, we introduce a new framework that jointly tackles both tasks by leveraging controlled knowledge distillation. Our approach enables efficient learning with minimal forgetting and effective targeted unlearning. By incorporating a fixed memory buffer, the system supports learning new concepts while retaining prior knowledge. The distillation process is carefully managed to ensure a balance between acquiring new information and forgetting specific data as needed. Experimental results on benchmark datasets show that our method matches or exceeds the performance of existing approaches in both continual learning and machine unlearning. This unified framework is the first to address both challenges simultaneously, paving the way for adaptable models capable of dynamic learning and forgetting while maintaining strong overall performance. Source code: \textcolor{blue}{https://respailab.github.io/CLMUL}
• Abstract（参考訳）: 継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 継続的な学習は、過去の情報を保存しながら新しい知識に適応することに焦点を当て、一方アンラーニングは、データの特定のサブセットを選択的に忘れることを含む。 本稿では, 制御された知識蒸留を利用して, 両課題に共同で取り組む新しい枠組みを提案する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。 固定メモリバッファを組み込むことで、システムは事前の知識を維持しながら新しい概念を学ぶことができる。 蒸留プロセスは、新しい情報を取得することと、必要に応じて特定のデータを忘れることとのバランスを確保するために慎重に管理される。 ベンチマークデータセットを用いた実験結果から,本手法は継続学習と機械学習の両方において,既存の手法の性能と一致しているか,上回っていることがわかった。 この統合されたフレームワークは、両方の課題を同時に解決する最初のものである。 ソースコード: \textcolor{blue}{https://respailab.github.io/CLMUL}

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Recall-Oriented Continual Learning with Generative Adversarial Meta-Model [5.710971447109951]
  本稿では,安定性・塑性ジレンマに対処するリコール指向連続学習フレームワークを提案する。 人間の脳が安定性と可塑性のメカニズムを分離する能力に触発されて、私たちのフレームワークは2段階のアーキテクチャで構成されています。 我々は,新たな知識を効果的に学習するだけでなく,従来の知識の安定性も高いことを示す。
  論文  参考訳（メタデータ） (2024-03-05T16:08:59Z)
• Informed Meta-Learning [55.2480439325792]
  メタラーニングとインシデントMLは、事前知識をMLパイプラインに組み込むための2つのアプローチとして際立っている。 我々は,非構造化知識表現からの事前の取り込みを容易にする,情報メタラーニングというハイブリッドパラダイムを定式化する。 データ効率、観測ノイズに対する堅牢性、タスク分散シフトを改善する上で、情報メタラーニングの潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2024-02-25T15:08:37Z)
• Federated Unlearning via Active Forgetting [24.060724751342047]
  インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。