論文の概要: Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning

• arxiv url: http://arxiv.org/abs/2509.12958v1
• Date: Tue, 16 Sep 2025 11:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.049377
• Title: Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning
• Title（参考訳）: 知恵を忘れず, 重要なことを忘れる: 継続的な学習のためのメモリスカルプティングにおけるToken-Level差分プライバシ
• Authors: Bihao Zhan, Jie Zhou, Junsong Li, Yutao Yang, Shilian Chen, Qianjun Pan, Xin Li, Wen Wu, Xingjiao Wu, Qin Chen, Hang Yan, Liang He,
• Abstract要約: プライバシーを強化した継続的学習フレームワークを提案する。 当社のアプローチではまず,トークンレベルの動的微分プライバシ戦略を導入しています。 次に、プライバシ誘導型メモリ彫刻モジュールを統合する。
• 参考スコア（独自算出の注目度）: 26.034865955638864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) models, while adept at sequential knowledge acquisition, face significant and often overlooked privacy challenges due to accumulating diverse information. Traditional privacy methods, like a uniform Differential Privacy (DP) budget, indiscriminately protect all data, leading to substantial model utility degradation and hindering CL deployment in privacy-sensitive areas. To overcome this, we propose a privacy-enhanced continual learning (PeCL) framework that forgets what's sensitive and remembers what matters. Our approach first introduces a token-level dynamic Differential Privacy strategy that adaptively allocates privacy budgets based on the semantic sensitivity of individual tokens. This ensures robust protection for private entities while minimizing noise injection for non-sensitive, general knowledge. Second, we integrate a privacy-guided memory sculpting module. This module leverages the sensitivity analysis from our dynamic DP mechanism to intelligently forget sensitive information from the model's memory and parameters, while explicitly preserving the task-invariant historical knowledge crucial for mitigating catastrophic forgetting. Extensive experiments show that PeCL achieves a superior balance between privacy preserving and model utility, outperforming baseline models by maintaining high accuracy on previous tasks while ensuring robust privacy.
• Abstract（参考訳）: 連続学習(CL)モデルは、シーケンシャルな知識獲得に適しているが、多種多様な情報を蓄積するため、重要かつ見落とされがちなプライバシー問題に直面している。 統一された差分プライバシー(DP)予算のような従来のプライバシ手法は、すべてのデータを無差別に保護し、実質的なモデルユーティリティの劣化と、プライバシに敏感な領域におけるCLデプロイメントを妨げる。 これを解決するために,プライバシ強化型連続学習(PeCL)フレームワークを提案する。 当社のアプローチではまず,個々のトークンのセマンティックな感度に基づいて,プライバシ予算を適応的に割り当てるトークンレベルの動的微分プライバシ戦略を導入する。 これにより、非感度で一般的な知識に対するノイズ注入を最小限に抑えながら、プライベートエンティティの堅牢な保護が保証される。 次に、プライバシ誘導型メモリ彫刻モジュールを統合する。 このモジュールは,我々の動的DP機構からの感度解析を利用して,モデルメモリやパラメータからのセンシティブな情報を知的に忘れると同時に,破滅的忘れの軽減に不可欠なタスク不変の歴史的知識を明示的に保存する。 大規模な実験により、PeCLはプライバシ保護とモデルユーティリティのバランスが良く、以前のタスクの高精度を維持しつつ、堅牢なプライバシを確保することでベースラインモデルを上回ることが示されている。

関連論文リスト

• Dynamic User-controllable Privacy-preserving Few-shot Sensing Framework [0.589889361990138]
  PrivCLIPは、ユーザコントロール可能な、数ショットのプライバシ保護センシングフレームワークである。 PrivCLIPを使えば、ユーザーはアクティビティを機密性(ブラックリスト)、非機密性(ホワイトリスト)、中立性(グレイリスト)と分類することで、プライバシの好みを指定および変更することができる。
  論文  参考訳（メタデータ） (2025-08-06T00:44:11Z)
• Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data [12.614480013684759]
  そこで我々は,メタクリップ(Meta-Clip)と呼ばれる新しい手法を導入する。 トレーニング中にクリッピング閾値を動的に調整することにより、アダプティブクリッピング法は機密情報の開示をきめ細かな制御を可能にする。 我々は,既存プライバシ保存技術に比べて優れたトレードオフを示すとともに,実用上の劣化を最小限に抑えるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-27T05:14:18Z)
• Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions [11.338466798715906]
  細調整された大規模言語モデル(LLM)は、様々な領域で最先端のパフォーマンスを達成することができる。 本稿では、微調整LDMに関連するプライバシー問題に関する包括的調査を行う。 メンバーシップ推論、データ抽出、バックドア攻撃など、さまざまなプライバシ攻撃に対する脆弱性を強調します。
  論文  参考訳（メタデータ） (2024-12-21T06:41:29Z)
• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
  エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。 まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。 そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-09-18T20:18:35Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。