論文の概要: Pre-Forgettable Models: Prompt Learning as a Native Mechanism for Unlearning

• arxiv url: http://arxiv.org/abs/2509.15230v1
• Date: Fri, 05 Sep 2025 13:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-28 15:30:14.325085
• Title: Pre-Forgettable Models: Prompt Learning as a Native Mechanism for Unlearning
• Title（参考訳）: 事前予測可能なモデル: 学習のネイティブメカニズムとしてのプロンプト学習
• Authors: Rutger Hendrix, Giovanni Patanè, Leonardo G. Russo, Simone Carnemolla, Giovanni Bellitto, Federica Proietto Salanitri, Concetto Spampinato, Matteo Pennisi,
• Abstract要約: ファンデーションモデルは、様々なモダリティやタスクにまたがる堅牢で伝達可能な表現を可能にすることによって、マルチメディア分析を変革してきた。 リトレーニング、アクティベーション編集、蒸留を含む従来の未学習のアプローチは、しばしば高価で脆弱で、リアルタイムまたは継続的な進化するシステムに不適である。 本稿では,知識の獲得と除去を1つの学習段階内に統一する,プロンプトベースの学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.512928441517811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models have transformed multimedia analysis by enabling robust and transferable representations across diverse modalities and tasks. However, their static deployment conflicts with growing societal and regulatory demands -- particularly the need to unlearn specific data upon request, as mandated by privacy frameworks such as the GDPR. Traditional unlearning approaches, including retraining, activation editing, or distillation, are often computationally expensive, fragile, and ill-suited for real-time or continuously evolving systems. In this paper, we propose a paradigm shift: rethinking unlearning not as a retroactive intervention but as a built-in capability. We introduce a prompt-based learning framework that unifies knowledge acquisition and removal within a single training phase. Rather than encoding information in model weights, our approach binds class-level semantics to dedicated prompt tokens. This design enables instant unlearning simply by removing the corresponding prompt -- without retraining, model modification, or access to original data. Experiments demonstrate that our framework preserves predictive performance on retained classes while effectively erasing forgotten ones. Beyond utility, our method exhibits strong privacy and security guarantees: it is resistant to membership inference attacks, and prompt removal prevents any residual knowledge extraction, even under adversarial conditions. This ensures compliance with data protection principles and safeguards against unauthorized access to forgotten information, making the framework suitable for deployment in sensitive and regulated environments. Overall, by embedding removability into the architecture itself, this work establishes a new foundation for designing modular, scalable and ethically responsive AI models.
• Abstract（参考訳）: ファンデーションモデルは、様々なモダリティやタスクにまたがる堅牢で伝達可能な表現を可能にすることによって、マルチメディア分析を変革してきた。 しかし、彼らの静的デプロイメントは、特にGDPRのようなプライバシーフレームワークが課しているように、社会的および規制上の要求の増加、特に要求に応じて特定のデータを解放する必要性と矛盾する。 リトレーニング、アクティベーション編集、蒸留を含む従来の未学習のアプローチは、しばしば計算コストが高く、脆弱で、リアルタイムまたは継続的な進化するシステムに不適である。 本稿では,非学習を遡及的介入ではなく,組込み能力として再考するパラダイムシフトを提案する。 本稿では,知識の獲得と除去を1つの学習段階内に統一する,プロンプトベースの学習フレームワークを提案する。 モデルウェイトで情報をエンコードするのではなく、クラスレベルのセマンティクスを専用のプロンプトトークンに結合する。 この設計では、リトレーニング、モデル修正、オリジナルデータへのアクセスなしに、対応するプロンプトを削除するだけで、即時アンラーニングが可能になる。 実験により,我々のフレームワークは,忘れたクラスを効果的に消去しながら,保持クラスにおける予測性能を保っていることが示された。 実用性以外にも,本手法は強力なプライバシとセキュリティの保証が示されており,メンバシップ推論攻撃に耐性があり,迅速な除去により,敵対的条件下であっても残余の知識抽出が防止される。 これにより、データ保護原則の遵守と、忘れられた情報への不正アクセスに対する保護が保証され、センシティブで規制された環境へのデプロイメントに適したフレームワークが実現される。 全体として、アーキテクチャ自体にリムーバビリティを組み込むことで、モジュラーでスケーラブルで倫理的にレスポンシブなAIモデルを設計するための新たな基盤を確立します。

関連論文リスト

• Privacy-Aware Lifelong Learning [14.83033354320841]
  機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。 本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。 画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-16T07:27:00Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Silver Linings in the Shadows: Harnessing Membership Inference for Machine Unlearning [7.557226714828334]
  ニューラルネットワークから特定のデータサンプルの影響を除去する新しい学習機構を提案する。 この目的を達成するために、我々は、ターゲットモデルの重みやアクティベーション値からプライバシーに敏感な情報を排除するための、新しい損失関数を構築した。 本研究の結果は,未学習の有効性とレイテンシ,および主課題の忠実度の観点から,我々のアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-07-01T00:20:26Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
  フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。 クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。 悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
  論文  参考訳（メタデータ） (2021-07-07T15:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。