論文の概要: A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning

• arxiv url: http://arxiv.org/abs/2505.15178v1
• Date: Wed, 21 May 2025 06:49:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.025206
• Title: A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning
• Title（参考訳）: タスク非依存型継続的学習学習のための一元化グラディエント・ベース・フレームワーク
• Authors: Zhehao Huang, Xinwen Cheng, Jie Zhang, Jinghao Zheng, Haoran Wang, Zhengbao He, Tao Li, Xiaolin Huang,
• Abstract要約: 近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調している。 Kullback-Leibler の発散最小化に基づく統一最適化フレームワークにより,本質的な接続を明らかにする。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整することを示した。
• 参考スコア（独自算出の注目度）: 30.2773429357068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in deep models have highlighted the need for intelligent systems that combine continual learning (CL) for knowledge acquisition with machine unlearning (MU) for data removal, forming the Continual Learning-Unlearning (CLU) paradigm. While existing work treats CL and MU as separate processes, we reveal their intrinsic connection through a unified optimization framework based on Kullback-Leibler divergence minimization. This framework decomposes gradient updates for approximate CLU into four components: learning new knowledge, unlearning targeted data, preserving existing knowledge, and modulation via weight saliency. A critical challenge lies in balancing knowledge update and retention during sequential learning-unlearning cycles. To resolve this stability-plasticity dilemma, we introduce a remain-preserved manifold constraint to induce a remaining Hessian compensation for CLU iterations. A fast-slow weight adaptation mechanism is designed to efficiently approximate the second-order optimization direction, combined with adaptive weighting coefficients and a balanced weight saliency mask, proposing a unified implementation framework for gradient-based CLU. Furthermore, we pioneer task-agnostic CLU scenarios that support fine-grained unlearning at the cross-task category and random sample levels beyond the traditional task-aware setups. Experiments demonstrate that the proposed UG-CLU framework effectively coordinates incremental learning, precise unlearning, and knowledge stability across multiple datasets and model architectures, providing a theoretical foundation and methodological support for dynamic, compliant intelligent systems.
• Abstract（参考訳）: 近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調し、連続学習・アンラーニング(CLU)パラダイムを形成している。 既存の作業ではCLとMUを別プロセスとして扱うが、Kullback-Leiblerの発散最小化に基づく統一最適化フレームワークを通じて本質的な接続を明らかにする。 このフレームワークは、近似CLUの勾配更新を、新しい知識の学習、未学習のターゲットデータ、既存の知識の保存、重み付けによる変調の4つのコンポーネントに分解する。 重要な課題は、シーケンシャルな学習/学習サイクル中に知識の更新と保持をバランスさせることである。 この安定性と塑性のジレンマを解決するため、CLUの繰り返しに対して残ったヘッセン補償を誘導する保存多様体制約を導入する。 高速スロー重み適応機構は、適応重み係数とバランスの取れた重み値マスクを組み合わせた2次最適化方向を効率よく近似し、勾配に基づくCLUの統一的な実装フレームワークを提案する。 さらに、クロスタスクカテゴリにおけるきめ細かい未学習と、従来のタスク認識設定を超えるランダムなサンプルレベルをサポートするタスク非依存のCLUシナリオを考案した。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整し、動的で準拠したインテリジェントシステムに対する理論的基盤と方法論的支援を提供する。

関連論文リスト

• Low-Complexity Inference in Continual Learning via Compressed Knowledge Transfer [5.079602839359523]
  継続学習(CL)は、以前獲得した知識を忘れずに一連のタスクを学習できるモデルを訓練することを目的としている。 近年、大きな事前学習モデルがCLで広く採用されている。 クラス増分学習に適した2つの効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-13T08:07:40Z)
• Explainability and Continual Learning meet Federated Learning at the Network Edge [4.348225679878919]
  ネットワークエッジにおける分散学習において,無線で相互接続するエッジデバイスで発生する新たな最適化問題について議論する。 具体的には,多目的最適化(MOO)を用いて,予測精度と説明可能性のトレードオフに対処する方法について論じる。 また,木をベースとしたモデルを分散学習環境に統合することの意義についても論じる。
  論文  参考訳（メタデータ） (2025-04-11T13:45:55Z)
• BECAME: BayEsian Continual Learning with Adaptive Model MErging [21.642774366793997]
  BECAMEという2段階のフレームワークを導入し、勾配予測と適応的マージの専門知識を相乗化する。 我々のアプローチは、最先端のCLメソッドと既存のマージ戦略より優れています。
  論文  参考訳（メタデータ） (2025-04-03T15:07:28Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Continuous Knowledge-Preserving Decomposition for Few-Shot Continual Learning [80.31842748505895]
  FSCIL(Few-shot class-incremental Learning)は、事前知識を維持しながら、限られたデータから新しいクラスを学習する。 モデルの重みを2つの部分に分解するフレームワークである FSCIL (CKPD-FSCIL) の連続的知識保存分解を提案する。 複数のベンチマークで実験したところ、CKPD-FSCILは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning [6.738409533239947]
  深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。 最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。 本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。