論文の概要: An Unlearning Framework for Continual Learning
- arxiv url: http://arxiv.org/abs/2509.17530v1
- Date: Mon, 22 Sep 2025 08:51:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.308723
- Title: An Unlearning Framework for Continual Learning
- Title(参考訳): 継続的学習のためのアンラーニングフレームワーク
- Authors: Sayanta Adhikari, Vishnuprasadh Kumaravelu, P. K. Srijith,
- Abstract要約: 連続学習のためのアンラーニングフレームワークUnCLeを提案する。
UnCLeは、タスク埋め込みを使用してタスク固有のネットワークパラメータを生成するために、ハイパーネットワークを使用する。
複数のビジョンデータセットに対する実証的な評価は、UnCLeが複数の学習および未学習操作を順次実行する能力を示している。
- 参考スコア(独自算出の注目度): 3.5047438945401725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Growing concerns surrounding AI safety and data privacy have driven the development of Machine Unlearning as a potential solution. However, current machine unlearning algorithms are designed to complement the offline training paradigm. The emergence of the Continual Learning (CL) paradigm promises incremental model updates, enabling models to learn new tasks sequentially. Naturally, some of those tasks may need to be unlearned to address safety or privacy concerns that might arise. We find that applying conventional unlearning algorithms in continual learning environments creates two critical problems: performance degradation on retained tasks and task relapse, where previously unlearned tasks resurface during subsequent learning. Furthermore, most unlearning algorithms require data to operate, which conflicts with CL's philosophy of discarding past data. A clear need arises for unlearning algorithms that are data-free and mindful of future learning. To that end, we propose UnCLe, an Unlearning framework for Continual Learning. UnCLe employs a hypernetwork that learns to generate task-specific network parameters, using task embeddings. Tasks are unlearned by aligning the corresponding generated network parameters with noise, without requiring any data. Empirical evaluations on several vision data sets demonstrate UnCLe's ability to sequentially perform multiple learning and unlearning operations with minimal disruption to previously acquired knowledge.
- Abstract(参考訳): AIの安全性とデータプライバシに関する懸念が高まり、潜在的なソリューションとしてMachine Unlearningの開発が進められている。
しかし、現在の機械学習アルゴリズムはオフライントレーニングパラダイムを補完するように設計されている。
継続的学習(CL)パラダイムの出現は、段階的なモデル更新を約束し、モデルが新しいタスクをシーケンシャルに学習できるようにする。
当然、これらのタスクのいくつかは、起こりうる安全やプライバシーの懸念に対処するためには、未学習である必要があるかもしれない。
従来の非学習アルゴリズムを連続学習環境に適用すると、継続したタスクのパフォーマンス劣化とタスクの再発という2つの重要な問題が発生する。
さらに、ほとんどのアンラーニングアルゴリズムは、過去のデータを破棄するというCLの哲学と矛盾するデータを必要とする。
データフリーで将来の学習に気を配るアンラーニングアルゴリズムには明確なニーズが生じる。
そこで我々は,継続的学習のためのアンラーニングフレームワークUnCLeを提案する。
UnCLeは、タスク埋め込みを使用してタスク固有のネットワークパラメータを生成するために、ハイパーネットワークを使用する。
タスクは、データを必要とすることなく、対応する生成されたネットワークパラメータをノイズと整列させることによって解放される。
いくつかの視覚データセットに対する実証的な評価は、UnCLeが以前に獲得した知識を最小限に抑えながら、複数の学習と未学習の操作を順次実行する能力を示している。
関連論文リスト
- Privacy-Aware Lifelong Learning [14.83033354320841]
機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。
本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。
画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
論文 参考訳(メタデータ) (2025-05-16T07:27:00Z) - Analytic Subspace Routing: How Recursive Least Squares Works in Continual Learning of Large Language Model [6.42114585934114]
大規模言語モデル(LLM)には、多様な言語関連タスクを処理できる機能がある。
大規模言語モデル(LLM)における継続的な学習は、LLMを新しいタスクに継続的に適応させることを目的としている。
本稿では,これらの課題に対処するため,ASR(Analytic Subspace Routing)を提案する。
論文 参考訳(メタデータ) (2025-03-17T13:40:46Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳(メタデータ) (2023-11-30T22:43:50Z) - Task-Attentive Transformer Architecture for Continual Learning of
Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。
バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。
私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
論文 参考訳(メタデータ) (2023-03-25T10:16:53Z) - A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。
本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。
オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
論文 参考訳(メタデータ) (2021-09-22T16:03:29Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。
モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。
BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文 参考訳(メタデータ) (2021-05-10T15:09:01Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z) - Curriculum Learning for Reinforcement Learning Domains: A Framework and
Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。
本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文 参考訳(メタデータ) (2020-03-10T20:41:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。