論文の概要: Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning
- arxiv url: http://arxiv.org/abs/2406.16257v1
- Date: Mon, 24 Jun 2024 01:45:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 16:22:56.118559
- Title: Towards Scalable Exact Machine Unlearning Using Parameter-Efficient Fine-Tuning
- Title（参考訳）: パラメータ効率の良いファインチューニングを用いたスケーラブルなエクササイズマシンの学習に向けて
- Authors: Somnath Basu Roy Chowdhury, Krzysztof Choromanski, Arijit Sehanobish, Avinava Dubey, Snigdha Chaturvedi,
- Abstract要約: 本研究では,S3T (Sequence-aware Sharded Sliced Training) を導入し,非学習システムの削除能力を向上させる。
S3Tは不整合データスライスで順次レイヤをトレーニングすることでパラメータ分離を可能にする。
モデルを複数のデータシーケンスでトレーニングすることで、S3Tでは削除要求の増加を処理することができます。
- 参考スコア（独自算出の注目度）: 35.681853074122735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning is the process of efficiently removing the influence of a training data instance from a trained machine learning model without retraining it from scratch. A popular subclass of unlearning approaches is exact machine unlearning, which focuses on techniques that explicitly guarantee the removal of the influence of a data instance from a model. Exact unlearning approaches use a machine learning model in which individual components are trained on disjoint subsets of the data. During deletion, exact unlearning approaches only retrain the affected components rather than the entire model. While existing approaches reduce retraining costs, it can still be expensive for an organization to retrain a model component as it requires halting a system in production, which leads to service failure and adversely impacts customers. To address these challenges, we introduce an exact unlearning framework -- Sequence-aware Sharded Sliced Training (S3T), designed to enhance the deletion capabilities of an exact unlearning system while minimizing the impact on model's performance. At the core of S3T, we utilize a lightweight parameter-efficient fine-tuning approach that enables parameter isolation by sequentially training layers with disjoint data slices. This enables efficient unlearning by simply deactivating the layers affected by data deletion. Furthermore, to reduce the retraining cost and improve model performance, we train the model on multiple data sequences, which allows S3T to handle an increased number of deletion requests. Both theoretically and empirically, we demonstrate that S3T attains superior deletion capabilities and enhanced performance compared to baselines across a wide range of settings.
- Abstract（参考訳）: 機械学習は、トレーニングされた機械学習モデルからトレーニングデータインスタンスの影響を、スクラッチから再トレーニングすることなく効率的に除去するプロセスである。
非学習アプローチの一般的なサブクラスは、正確な機械学習であり、モデルからデータインスタンスの影響を明示的に除去するテクニックに焦点を当てている。
特定の未学習アプローチでは、個々のコンポーネントがデータの非結合部分集合でトレーニングされるマシンラーニングモデルを使用する。
削除の間、正確な未学習のアプローチは、モデル全体ではなく、影響を受けるコンポーネントのみをトレーニングする。
既存のアプローチは再トレーニングコストを削減しますが、運用中のシステム停止を必要とするため、組織がモデルコンポーネントを再トレーニングするコストがかかります。
これらの課題に対処するため、モデルの性能への影響を最小限に抑えつつ、正確な学習システムの削除能力を高めるために設計された、シーケンス対応のS3T(Sharded Sliced Training)という、正確な未学習フレームワークを導入しました。
S3Tのコアでは,データスライスを切断した層を逐次訓練することでパラメータ分離を可能にする,軽量なパラメータ効率の微調整手法を採用している。
これにより、データ削除によって影響を受けるレイヤを単に非活性化することで、効率的なアンラーニングが可能になる。
さらに、再トレーニングコストを削減し、モデル性能を向上させるため、複数のデータシーケンスでモデルをトレーニングし、S3Tでは削除要求の増加を処理できるようにします。
理論的にも経験的にも、S3Tは幅広い設定のベースラインに比べて優れた削除能力と性能を発揮できることを示した。
関連論文リスト
- Machine Unlearning on Pre-trained Models by Residual Feature Alignment Using LoRA [15.542668474378633]
本稿では,事前学習モデルを用いた新しい機械学習手法を提案する。
LoRAを利用して、モデルの中間機能を事前訓練された特徴と残像に分解する。
本手法は,保持集合上のゼロ残差を学習し,未学習集合上でシフト残差を学習することを目的としている。
論文 参考訳（メタデータ） (2024-11-13T08:56:35Z) - Efficient Knowledge Deletion from Trained Models through Layer-wise
Partial Machine Unlearning [2.3496568239538083]
本稿では,機械学習アルゴリズムの新たなクラスを紹介する。
第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。
第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
論文 参考訳（メタデータ） (2024-03-12T12:49:47Z) - Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping [53.454408491386886]
自己アライメントのブートストラップは、シングルラウンドアプローチをはるかに上回る。
モデルが継続的に強化した複数ショット機能を活用してゼロまたはワンショットのパフォーマンスを向上するステップ・オン・フィート・チューニング(SOFT)を提案する。
簡単な学習法に基づいて、自己アライメントの性能をさらに向上させるSOFT+を提案する。
論文 参考訳（メタデータ） (2024-02-12T12:30:42Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T11:30:45Z) - Federated Unlearning via Active Forgetting [24.060724751342047]
インクリメンタルラーニングに基づく新しいフェデレーション・アンラーニング・フレームワークを提案する。
我々のフレームワークは、近似的再学習やデータ影響推定に依存する既存の非学習手法とは異なる。
論文 参考訳（メタデータ） (2023-07-07T03:07:26Z) - LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。
固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。
我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文 参考訳（メタデータ） (2022-10-28T09:53:05Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳（メタデータ） (2021-08-26T04:42:24Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳（メタデータ） (2021-06-29T05:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。