論文の概要: Efficient Verified Machine Unlearning For Distillation

• arxiv url: http://arxiv.org/abs/2503.22539v1
• Date: Fri, 28 Mar 2025 15:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:28:33.794394
• Title: Efficient Verified Machine Unlearning For Distillation
• Title（参考訳）: 蒸留のための効率よく検証された機械の学習
• Authors: Yijun Quan, Zushu Li, Giovanni Montana,
• Abstract要約: PURGE(Partitioned Unlearning with Retraining Guarantee for Ensembles)は、未学習と蒸留を統合した新しいフレームワークである。 理論的解析,未学習プロセスにおける重要なスピードアップの定量化,および複数のデータセットに対する実証的検証を行う。
• 参考スコア（独自算出の注目度）: 6.363158395541767
• License:
• Abstract: Growing data privacy demands, driven by regulations like GDPR and CCPA, require machine unlearning methods capable of swiftly removing the influence of specific training points. Although verified approaches like SISA, using data slicing and checkpointing, achieve efficient unlearning for single models by reverting to intermediate states, these methods struggle in teacher-student knowledge distillation settings. Unlearning in the teacher typically forces costly, complete student retraining due to pervasive information propagation during distillation. Our primary contribution is PURGE (Partitioned Unlearning with Retraining Guarantee for Ensembles), a novel framework integrating verified unlearning with distillation. We introduce constituent mapping and an incremental multi-teacher strategy that partitions the distillation process, confines each teacher constituent's impact to distinct student data subsets, and crucially maintains data isolation. The PURGE framework substantially reduces retraining overhead, requiring only partial student updates when teacher-side unlearning occurs. We provide both theoretical analysis, quantifying significant speed-ups in the unlearning process, and empirical validation on multiple datasets, demonstrating that PURGE achieves these efficiency gains while maintaining student accuracy comparable to standard baselines.
• Abstract（参考訳）: GDPRやCCPAといった規制によって引き起こされるデータプライバシ要求の増大は、特定のトレーニングポイントの影響を迅速に取り除くことができる機械学習手法を必要とする。 SISAのような検証された手法は、データスライシングとチェックポイントを用いることで、中間状態に戻すことで、単一モデルの効率的なアンラーニングを実現するが、これらの手法は教師が学習する知識の蒸留設定に苦しむ。 教師のアンラーニングは通常、蒸留中に広汎な情報伝達のために、コストがかかる完全な学生の再訓練を強制する。 PURGE(Partitioned Unlearning with Retraining Guarantee for Ensembles)は,未学習と蒸留を統合した新しいフレームワークである。 本稿では, 蒸留工程を分割し, 個々の教師構成員の影響を個々の学生データサブセットに限定し, データの分離を決定的に維持する構成員マッピングと増分多教師戦略を導入する。 PURGEフレームワークは、教師側の未学習時にのみ部分的な学生更新を必要とするため、トレーニングのオーバーヘッドを大幅に削減する。 我々は、理論解析と、未学習プロセスにおける重要なスピードアップの定量化、および複数のデータセットに対する実証的検証の両方を提供し、PURGEが標準ベースラインに匹敵する精度を維持しながら、これらの効率向上を達成することを示した。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer Level Attack and Knowledge Distillation [21.587358050012032]
  本稿では,階層攻撃アンラーニング(Layer attack unlearning)と呼ばれる,高速で斬新な機械学習パラダイムを提案する。 そこで本研究では, 試料を効率よく検出する部分PGDアルゴリズムを提案する。 また,教師から意思決定境界を確実に学習するために知識蒸留(KD)も活用する。
  論文  参考訳（メタデータ） (2023-12-28T04:38:06Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• The Staged Knowledge Distillation in Video Classification: Harmonizing Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
  ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。 本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。 提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-07-11T12:10:42Z)
• Class-wise Federated Unlearning: Harnessing Active Forgetting with Teacher-Student Memory Generation [11.638683787598817]
  能動的忘れ込みに基づく神経刺激型フェデレーション・アンラーニング・フレームワークを提案する。 我々のフレームワークは、新しい記憶を利用して古い記憶を上書きすることで、既存の方法と差別化している。 本手法は,バックドア攻撃に対する未学習の完全性を実現する。
  論文  参考訳（メタデータ） (2023-07-07T03:07:26Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Teaching What You Should Teach: A Data-Based Distillation Method [20.595460553747163]
  知識蒸留フレームワークに「教えるべきものを教える」戦略を導入する。 本稿では,より効率的かつ合理的な蒸留を支援するために,望まれる増補サンプルを探索するデータベース蒸留手法"TST"を提案する。 具体的には,教師の強みと生徒の弱みを補うことを支援する,優先バイアス付きニューラルネットワークベースのデータ拡張モジュールを設計する。
  論文  参考訳（メタデータ） (2022-12-11T06:22:14Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)
• Generative Adversarial Simulator [2.3986080077861787]
  強化学習における知識蒸留へのシミュレータフリーアプローチを提案する。 重要な課題は、学生に与えられた行動に対応する事例の多様さを学習させることである。 これは教師と学生の政策の間のシミュレータフリーな知識蒸留の初めての実演である。
  論文  参考訳（メタデータ） (2020-11-23T15:31:12Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。