論文の概要: The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning

• arxiv url: http://arxiv.org/abs/2606.29832v1
• Date: Mon, 29 Jun 2026 06:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.079717
• Title: The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
• Title（参考訳）: 忘れられないジレンマ--継続学習における未学習理論の認定
• Abstract要約: 機械学習は、モデルから特定のデータの影響を排除し、プライバシを保護することを目的としている。 現在認定されている未学習アルゴリズムは、継続的学習に固有の累積モデル進化を説明できない。 CLの未学習目標を学習後過剰リスクの最小化として定式化し,CL過剰リスクと未学習損失に分解する。
• 参考スコア（独自算出の注目度）: 23.209639058960477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to eliminate the influence of specific data from trained models to safeguard privacy. However, this presents a significant challenge in the context of continual learning (CL), where models update sequentially on dynamic datasets. A major limitation is that current certified unlearning algorithms fail to account for the complex, cumulative model evolution inherent to CL framework. In this work, we establish the first theoretical foundation bridging CL and machine unlearning. We formulate the CL's unlearning objective as the minimization of post-unlearning excess risk, which decomposes into CL excess risk and unlearning loss, characterizing the fundamental trade-off between preserving historical knowledge and targeted forgetting. Under mild assumptions, we first establish an upper bound for the CL excess risk in non-convex models. We then adapt two certified unlearning approaches, gradient-based and Hessian-based, to the CL framework. Our analysis reveals that while the gradient-based approach is less effective than the Hessian-based method in minimizing unlearning loss, it offers the distinct advantage of nearly zero storage overhead for enabling unlearning. This insight motivates a hybrid strategy that reduces storage costs while maintaining post-unlearning performance. Experimental results further validate our theoretical findings.
• Abstract（参考訳）: 機械学習は、トレーニングされたモデルから特定のデータの影響を排除し、プライバシを保護することを目的としている。 しかし、これは、モデルが動的データセットを逐次更新する連続学習(CL)の文脈において重要な課題である。 最大の制限は、現在の認定された未学習アルゴリズムがCLフレームワーク固有の複雑で累積的なモデル進化を説明できないことである。 本研究では,CLとマシンアンラーニングを橋渡しする最初の理論基盤を確立する。 我々は,学習後過剰リスクの最小化としてCLの未学習目標を定式化し,CLの過剰リスクと未学習損失に分解し,歴史的知識の保存と忘れることの基本的なトレードオフを特徴付ける。 軽度の仮定の下では、まず非凸モデルにおけるCL過剰リスクの上限を確立する。 次に、グラデーションベースとヘッセンベースという2つの認定されていないアンラーニングアプローチをCLフレームワークに適用する。 解析の結果, 勾配に基づくアプローチは, 未学習の損失を最小限に抑えるヘッセン法よりも効果が低いが, 未学習を実現するために, ほとんどゼロのストレージオーバーヘッドを生かす利点があることがわかった。 この洞察は、学習後のパフォーマンスを維持しながら、ストレージコストを削減するハイブリッド戦略を動機付けている。 実験結果は理論的な結果をさらに裏付けるものである。

関連論文リスト

• To Retain or to Adapt? Generalizing Continual Learning [39.95178050304739]
  我々は、静止しない環境において、保持の優先順位付けはリアルタイム適応を妨げると論じている。 環境学と学習学の相互作用が支配するオンライン最適化問題としてCLを定式化する。 本稿では,予測連続学習と呼ぶ連続学習アルゴリズムの一般クラスを提案する。
  論文  参考訳（メタデータ） (2026-07-06T20:11:53Z)
• IDER: IDempotent Experience Replay for Reliable Continual Learning [36.35747221992653]
  破滅的忘れは継続学習(CL)における大きな課題である 既存の不確実性を考慮したCL法は、計算オーバーヘッドが高く、主流の再生法と相容れない。 本稿では、繰り返し関数が同じ出力を出力する等等性性に基づく新しいアプローチである、等等性体験再生(IDER)を提案する。
  論文  参考訳（メタデータ） (2026-02-28T12:34:18Z)
• A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning [30.2773429357068]
  近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調している。 Kullback-Leibler の発散最小化に基づく統一最適化フレームワークにより,本質的な接続を明らかにする。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整することを示した。
  論文  参考訳（メタデータ） (2025-05-21T06:49:05Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Online Continual Learning with Contrastive Vision Transformer [67.72251876181497]
  本稿では,オンラインCLの安定性と塑性のトレードオフを改善するために,CVT(Contrastive Vision Transformer)フレームワークを提案する。 具体的には、従来のタスクに関する情報を暗黙的にキャプチャするオンラインCLのための新しい外部アテンション機構を設計する。 学習可能な焦点に基づいて、新しいクラスと過去のクラスの間でのコントラスト学習を再バランスさせ、事前学習した表現を統合化するための焦点コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-24T08:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。