論文の概要: Model sparsification can simplify machine unlearning

• arxiv url: http://arxiv.org/abs/2304.04934v1
• Date: Tue, 11 Apr 2023 02:12:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 16:27:55.773162
• Title: Model sparsification can simplify machine unlearning
• Title（参考訳）: モデルのスパーシフィケーションは機械学習を単純化する
• Authors: Jinghan Jia, Jiancheng Liu, Parikshit Ram, Yuguang Yao, Gaowen Liu, Yang Liu, Pranay Sharma, Sijia Liu
• Abstract要約: 最近のデータレギュレーションはマシン・アンラーニング(MU)を必要とする スパーシティー・アウェア・アンラーニング・メタ・スキームは,まずはプルーン,次に未学習」,そして「スパーシティ・アウェア・アンラーニング」を開発した。 ひとつ注目すべきは、提案されているスパシティ対応の未学習パラダイムにおいて、微調整による77%の未学習の有効性向上である。
• 参考スコア（独自算出の注目度）: 19.476678725335677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent data regulations necessitate machine unlearning (MU): The removal of the effect of specific examples from the model. While exact unlearning is possible by conducting a model retraining with the remaining data from scratch, its computational cost has led to the development of approximate but efficient unlearning schemes. Beyond data-centric MU solutions, we advance MU through a novel model-based viewpoint: sparsification via weight pruning. Our results in both theory and practice indicate that model sparsity can boost the multi-criteria unlearning performance of an approximate unlearner, closing the approximation gap, while continuing to be efficient. With this insight, we develop two new sparsity-aware unlearning meta-schemes, termed `prune first, then unlearn' and `sparsity-aware unlearning'. Extensive experiments show that our findings and proposals consistently benefit MU in various scenarios, including class-wise data scrubbing, random data scrubbing, and backdoor data forgetting. One highlight is the 77% unlearning efficacy gain of fine-tuning (one of the simplest approximate unlearning methods) in the proposed sparsity-aware unlearning paradigm. Codes are available at https://github.com/OPTML-Group/Unlearn-Sparse.
• Abstract（参考訳）: 最近のデータ規制は、モデルから特定の例の効果を取り除き、マシン・アンラーニング(mu)を必要としている。 残りのデータをスクラッチから再トレーニングすることで、正確なアンラーニングが可能になるが、計算コストは近似的だが効率的なアンラーニングスキームの開発につながった。 データ中心のMUソリューション以外にも、新しいモデルベースの視点でMUを前進させます。 理論と実践の両方の結果から,モデルのスパーシティは,効率を保ちながら近似ギャップを閉じながら,近似未学習者のマルチクリテリアアンラーニング性能を向上できることが示唆された。 この知見を活かして,「prune first, then unlearn」と「sparsity-aware unlearning」の2つの新しい非学習メタスキームを開発した。 大規模な実験により,クラスワイドデータスクレイビング,ランダムデータスクレイビング,バックドアデータスレッディングなど,さまざまなシナリオにおいてMUのメリットが一貫して示された。 1つのハイライトは、提案されているスパーシティ・アウェア・アンラーニングパラダイムにおける微調整(最も近似的なアンラーニング手法の1つ)による77%のアンラーニング効果向上である。 コードはhttps://github.com/OPTML-Group/Unlearn-Sparseで入手できる。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Alignment Calibration: Machine Unlearning for Contrastive Learning under Auditing [33.418062986773606]
  まず,Machine Unlearning for Contrastive Learning (MUC) の枠組みを提案し,既存の手法を適用した。 我々は,いくつかの手法が未学習者であり,既存の監査ツールがデータ所有者にとって,対照的な学習における未学習の効果を検証するのに十分でないことを観察した。 コントラスト学習の特性を明示的に考慮し,未学習を容易に検証するための新しい指標に最適化することで,アライメント(AC)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T19:55:45Z)
• Machine Unlearning in Contrastive Learning [3.6218162133579694]
  本稿では,機械学習を効果的に行うためのモデルトレーニングのための,勾配制約に基づく新しいアプローチを提案する。 提案手法は,コントラスト学習モデルだけでなく,教師付き学習モデルにも有能な性能を示す。
  論文  参考訳（メタデータ） (2024-05-12T16:09:01Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Unlearnable Algorithms for In-context Learning [36.895152458323764]
  本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。 タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。 本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:43:04Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。