論文の概要: Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening

• arxiv url: http://arxiv.org/abs/2308.07707v2
• Date: Wed, 13 Dec 2023 16:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 20:41:24.296300
• Title: Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening
• Title（参考訳）: 選択的なシナプスダンピングを通さない高速機械学習
• Authors: Jack Foster, Stefan Schoepf, Alexandra Brintrup
• Abstract要約: Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 51.34904967046097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning, the ability for a machine learning model to forget, is becoming increasingly important to comply with data privacy regulations, as well as to remove harmful, manipulated, or outdated information. The key challenge lies in forgetting specific information while protecting model performance on the remaining data. While current state-of-the-art methods perform well, they typically require some level of retraining over the retained data, in order to protect or restore model performance. This adds computational overhead and mandates that the training data remain available and accessible, which may not be feasible. In contrast, other methods employ a retrain-free paradigm, however, these approaches are prohibitively computationally expensive and do not perform on par with their retrain-based counterparts. We present Selective Synaptic Dampening (SSD), a novel two-step, post hoc, retrain-free approach to machine unlearning which is fast, performant, and does not require long-term storage of the training data. First, SSD uses the Fisher information matrix of the training and forgetting data to select parameters that are disproportionately important to the forget set. Second, SSD induces forgetting by dampening these parameters proportional to their relative importance to the forget set with respect to the wider training data. We evaluate our method against several existing unlearning methods in a range of experiments using ResNet18 and Vision Transformer. Results show that the performance of SSD is competitive with retrain-based post hoc methods, demonstrating the viability of retrain-free post hoc unlearning approaches.
• Abstract（参考訳）: 機械学習モデルを忘れることのできる機械学習は、データプライバシ規則に準拠するだけでなく、有害で操作された、あるいは時代遅れな情報を削除することがますます重要になっている。 重要な課題は、残りのデータでモデルパフォーマンスを保護しながら、特定の情報を忘れることである。 現在の最先端のメソッドはうまく機能するが、モデルのパフォーマンスを保護または復元するためには、保持されたデータに対してある程度の訓練を必要とする。 これにより、計算オーバーヘッドが増加し、トレーニングデータが引き続き利用可能でアクセス可能であることが義務付けられる。 対照的に、他の手法ではリトレインフリーのパラダイムを採用しているが、これらの手法は計算コストが禁じられ、リトレインベースの手法と同等に動作しない。 選択型シナプスダンピング(Selective Synaptic Dampening, SSD)は, 高速で, 性能が高く, 訓練データの長期保存を必要としない, 2段階, ポストホック, リトレインフリーな機械学習手法である。 まず、ssdはトレーニングのフィッシャー情報マトリクスを使い、データを忘れ、忘れセットにとって不釣り合いに重要なパラメータを選択する。 第2に、SSDは、これらのパラメータを、より広いトレーニングデータに対する忘れセットに対する相対的な重要性に比例して減衰させることで、忘れを誘導する。 resnet18 と vision transformer を用いた各種実験において,既存のアンラーニング手法に対する評価を行った。 その結果,retrain-based post hoc法とssd性能が競合することが明らかとなり,retrain-free post hoc unlearning法の有効性が示された。

関連論文リスト

• Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
  本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。 LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。 本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-11-13T08:56:35Z)
• Edge Unlearning is Not "on Edge"! An Adaptive Exact Unlearning System on Resource-Constrained Devices [26.939025828011196]
  忘れられる権利は、機械学習モデルがデータ所有者のデータと訓練されたモデルからの情報の消去を可能にすることを義務付ける。 本稿では,ネットワークエッジ(CAUSE)における制約対応適応エクササイズ学習システムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T03:28:09Z)
• Towards Robust and Cost-Efficient Knowledge Unlearning for Large Language Models [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMのための堅牢で効率的なアンラーニングのための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Dataset Condensation Driven Machine Unlearning [0.0]
  データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。 我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。 本稿では,機械のアンラーニングを計測するための新しい効果的なアプローチを提案し,その適用方法として,メンバシップ推論とモデル逆転攻撃の防御を提案する。
  論文  参考訳（メタデータ） (2024-01-31T21:48:25Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• SAFE: Machine Unlearning With Shard Graphs [100.12621304361288]
  本稿では,大規模モデルを多種多様なデータ集合に適応させる手法であるSynergy Aware Forgetting Ensemble (SAFE)を提案する。 SAFEは軽量なアダプタシステムを使用し、ほとんどの計算を再利用しながらトレーニングすることができる。 これにより、SAFEは現在の最先端の方法よりも小さなシャードの順序でトレーニングすることができる。
  論文  参考訳（メタデータ） (2023-04-25T22:02:09Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。