論文の概要: BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning

• arxiv url: http://arxiv.org/abs/2604.12686v1
• Date: Tue, 14 Apr 2026 12:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.451158
• Title: BID-LoRA: A Parameter-Efficient Framework for Continual Learning and Unlearning
• Title（参考訳）: BID-LoRA:連続学習とアンラーニングのためのパラメータ効率の良いフレームワーク
• Authors: Jagadeesh Rachapudi, Ritali Vatsi, Praful Hambarde, Amit Shukla,
• Abstract要約: 我々は,CLU(Continuous Learning Unlearning)を,不要な知識の正確な削除,事前情報を保存しながら新たな知識の効率的な統合,サイクル間の知識リークを最小限にする,という3つの主要な目標を持った統一パラダイムとして定式化する。 BID-LoRA(Bi-Directional Low-Rank Adaptation)は、3つの専用アダプタパスが保持され、新しく、未学習で注意層に適用される新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 0.7865560760233441
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent advances in deep learning underscore the need for systems that can not only acquire new knowledge through Continual Learning (CL) but also remove outdated, sensitive, or private information through Machine Unlearning (MU). However, while CL methods are well-developed, MU techniques remain in early stages, creating a critical gap for unified frameworks that depend on both capabilities. We find that naively combining existing CL and MU approaches results in knowledge leakage a gradual degradation of foundational knowledge across repeated adaptation cycles. To address this, we formalize Continual Learning Unlearning (CLU) as a unified paradigm with three key goals: (i) precise deletion of unwanted knowledge, (ii) efficient integration of new knowledge while preserving prior information, and (iii) minimizing knowledge leakage across cycles. We propose Bi-Directional Low-Rank Adaptation (BID-LoRA), a novel framework featuring three dedicated adapter pathways-retain, new, and unlearn applied to attention layers, combined with escape unlearning that pushes forget-class embeddings to positions maximally distant from retained knowledge, updating only 5% of parameters. Experiments on CIFAR-100 show that BID-LoRA outperforms CLU baselines across multiple adaptation cycles. We further evaluate on CASIA-Face100, a curated face recognition subset, demonstrating practical applicability to real-world identity management systems where new users must be enrolled and withdrawn users removed.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、継続学習(CL)を通じて新しい知識を習得するだけでなく、マシン・アンラーニング(MU)を通じて時代遅れで機密性の高い、あるいはプライベートな情報を除去するシステムの必要性を浮き彫りにしている。 しかし、CLメソッドは十分に開発されているが、MUテクニックは初期段階にあり、両方の機能に依存する統一フレームワークにとって重要なギャップを生み出している。 既存の CL と MU のアプローチを鼻で組み合わせることで,知識リークが繰り返し適応サイクルにまたがる基礎知識の段階的劣化をもたらすことが判明した。 これを解決するために,我々は,連続学習アンラーニング(CLU)を3つの主要な目標を持つ統一パラダイムとして定式化する。 (i)不必要な知識の正確な削除 (二)事前情報を保存しつつ知識の効率的な統合、及び 三 サイクルごとの知識漏洩を最小限にすること。 BID-LoRA(Bi-Directional Low-Rank Adaptation)は、3つの専用アダプタパスが保持され、新しく、未学習で注意層に適用される新しいフレームワークである。 CIFAR-100の実験では、BID-LoRAは複数の適応サイクルでCLUベースラインを上回っている。 さらに,顔認証サブセットであるCASIA-Face100について評価を行い,新たなユーザを登録して削除しなければならない実世界のアイデンティティ管理システムへの適用性を実証した。

関連論文リスト

• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
  本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。 干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。 時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
  論文  参考訳（メタデータ） (2025-11-14T16:07:03Z)
• A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning [30.2773429357068]
  近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調している。 Kullback-Leibler の発散最小化に基づく統一最適化フレームワークにより,本質的な接続を明らかにする。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整することを示した。
  論文  参考訳（メタデータ） (2025-05-21T06:49:05Z)
• ACU: Analytic Continual Unlearning for Efficient and Exact Forgetting with Privacy Preservation [39.0731790601695]
  連続的アンラーニング(CU)は、連続的学習フェーズで取得した特定の知識を逐次忘れることを目的としている。 既存の未学習メソッドの多くは、再トレーニングや微調整のために保持されたデータセットにアクセスする必要がある。 本稿では,ACU (Analytic Continual Unlearning) と呼ばれるCUの勾配のない新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T05:28:18Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。