論文の概要: Privacy-Aware Lifelong Learning

• arxiv url: http://arxiv.org/abs/2505.10941v1
• Date: Fri, 16 May 2025 07:27:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.274177
• Title: Privacy-Aware Lifelong Learning
• Title（参考訳）: プライバシーに配慮した生涯学習
• Authors: Ozan Özdenizci, Elmar Rueckert, Robert Legenstein,
• Abstract要約: 機械学習の分野は、要求された時に事前訓練されたモデルから、ある以前の知識を明示的に忘れることに焦点を当てている。 本稿では,タスク固有のスパースワークとパラメータ共有の最適化を含む,プライバシを意識した生涯学習(PALL)を提案する。 画像分類におけるPALLのスケーラビリティを実証的に実証し,最先端のソリューションを提供する。
• 参考スコア（独自算出の注目度）: 14.83033354320841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning algorithms enable models to incrementally acquire new knowledge without forgetting previously learned information. Contrarily, the field of machine unlearning focuses on explicitly forgetting certain previous knowledge from pretrained models when requested, in order to comply with data privacy regulations on the right-to-be-forgotten. Enabling efficient lifelong learning with the capability to selectively unlearn sensitive information from models presents a critical and largely unaddressed challenge with contradicting objectives. We address this problem from the perspective of simultaneously preventing catastrophic forgetting and allowing forward knowledge transfer during task-incremental learning, while ensuring exact task unlearning and minimizing memory requirements, based on a single neural network model to be adapted. Our proposed solution, privacy-aware lifelong learning (PALL), involves optimization of task-specific sparse subnetworks with parameter sharing within a single architecture. We additionally utilize an episodic memory rehearsal mechanism to facilitate exact unlearning without performance degradations. We empirically demonstrate the scalability of PALL across various architectures in image classification, and provide a state-of-the-art solution that uniquely integrates lifelong learning and privacy-aware unlearning mechanisms for responsible AI applications.
• Abstract（参考訳）: 生涯学習アルゴリズムにより、モデルが学習した情報を忘れずに、新たな知識を段階的に取得することができる。 対照的に、機械学習の分野は、データプライバシー規制に従うために、要求された時に事前訓練されたモデルから特定の知識を明示的に忘れることに焦点を当てている。 モデルからセンシティブな情報を選択的に解き放つ能力を備えた効率的な生涯学習を実現することは、矛盾する目的と相反する批判的かつ概ね非適応的な課題を示す。 本稿では,1つのニューラルネットワークモデルに基づいて,タスク非学習とメモリ要求の最小化を図りながら,タスク増分学習における破滅的な忘れ込みと前向きの知識伝達を同時に防止する観点から,この問題に対処する。 提案手法であるプライバシ・アウェア・ライフロング・ラーニング(PALL)では,タスク固有のスパースサブネットワークを1つのアーキテクチャ内でパラメータ共有することで最適化する。 また,性能劣化を伴わずに正確な未学習を容易にするために,エピソードメモリリハーサル機構を利用する。 画像分類において、PALLのスケーラビリティを実証的に実証し、生涯学習とプライバシを意識した非学習メカニズムを責任あるAIアプリケーションに一意に統合する最先端のソリューションを提供する。

関連論文リスト

• Zero-shot Class Unlearning via Layer-wise Relevance Analysis and Neuronal Path Perturbation [11.174705227990241]
  機械学習は、大規模な再トレーニングを必要とせずに、トレーニングされたモデルから特定のデータの影響を取り除くテクニックである。 本稿では,階層的関連分析と神経経路摂動を用いた機械学習の新しい手法を提案する。 本手法は,高関連ニューロンを同定・摂動することで,機械学習性能とモデルの有用性のバランスをとる。
  論文  参考訳（メタデータ） (2024-10-31T07:37:04Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Class-wise Federated Unlearning: Harnessing Active Forgetting with Teacher-Student Memory Generation [11.638683787598817]
  能動的忘れ込みに基づく神経刺激型フェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、新しい記憶を利用して古い記憶を上書きすることで、既存の方法と差別化している。 本手法は,バックドア攻撃に対する未学習の完全性を実現する。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。