論文の概要: MUSE: Machine Unlearning Six-Way Evaluation for Language Models
- arxiv url: http://arxiv.org/abs/2407.06460v1
- Date: Mon, 8 Jul 2024 23:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-10 19:44:58.167840
- Title: MUSE: Machine Unlearning Six-Way Evaluation for Language Models
- Title(参考訳): MUSE: 機械学習による言語モデルの6ウェイ評価
- Authors: Weijia Shi, Jaechan Lee, Yangsibo Huang, Sadhika Malladi, Jieyu Zhao, Ari Holtzman, Daogao Liu, Luke Zettlemoyer, Noah A. Smith, Chiyuan Zhang,
- Abstract要約: 言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。
総合的な機械学習評価ベンチマークであるMUSEを提案する。
人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
- 参考スコア(独自算出の注目度): 109.76505405962783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) are trained on vast amounts of text data, which may include private and copyrighted content. Data owners may request the removal of their data from a trained model due to privacy or copyright concerns. However, exactly unlearning only these datapoints (i.e., retraining with the data removed) is intractable in modern-day models. This has led to the development of many approximate unlearning algorithms. The evaluation of the efficacy of these algorithms has traditionally been narrow in scope, failing to precisely quantify the success and practicality of the algorithm from the perspectives of both the model deployers and the data owners. We address this issue by proposing MUSE, a comprehensive machine unlearning evaluation benchmark that enumerates six diverse desirable properties for unlearned models: (1) no verbatim memorization, (2) no knowledge memorization, (3) no privacy leakage, (4) utility preservation on data not intended for removal, (5) scalability with respect to the size of removal requests, and (6) sustainability over sequential unlearning requests. Using these criteria, we benchmark how effectively eight popular unlearning algorithms on 7B-parameter LMs can unlearn Harry Potter books and news articles. Our results demonstrate that most algorithms can prevent verbatim memorization and knowledge memorization to varying degrees, but only one algorithm does not lead to severe privacy leakage. Furthermore, existing algorithms fail to meet deployer's expectations because they often degrade general model utility and also cannot sustainably accommodate successive unlearning requests or large-scale content removal. Our findings identify key issues with the practicality of existing unlearning algorithms on language models, and we release our benchmark to facilitate further evaluations: muse-bench.github.io
- Abstract(参考訳): 言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。
データ所有者は、プライバシや著作権上の懸念から、トレーニングされたモデルからデータを削除するよう要求することができる。
しかし、現在のモデルでは、これらのデータポイント(つまり、データを削除して再トレーニングする)のみを正確に学習することは困難である。
これは多くの近似アンラーニングアルゴリズムの開発につながった。
これらのアルゴリズムの有効性の評価は、伝統的に範囲が狭く、モデルデプロイとデータオーナの両方の観点から、アルゴリズムの成功と実用性を正確に定量化できない。
我々は,(1)動詞の暗記,(2)知識の暗記,(3)プライバシの漏洩,(4)削除を意図しないデータに対するユーティリティの保存,(5)削除要求のサイズに関するスケーラビリティ,(6)シーケンシャルなアンラーニング要求に対する持続可能性という,未学習モデルに望ましい6つの特性を列挙する総合的マシンアンラーニング評価ベンチマークであるMUSEを提案する。
これらの基準を用いて、7BパラメータLM上の8つの人気のある未学習アルゴリズムが、ハリー・ポッターの書籍やニュース記事の読解を効果的に行なえるかをベンチマークする。
以上の結果から,ほとんどのアルゴリズムは,単語の暗記や知識の暗記を様々な程度に防ぐことができるが,厳密なプライバシー漏洩につながるのは1つのアルゴリズムのみであることが示された。
さらに、既存のアルゴリズムは一般的なモデルユーティリティを劣化させることが多く、連続した未学習要求や大規模なコンテンツ削除を持続的に適応できないため、デプロイ者の期待を満たさない。
言語モデル上での既存の未学習アルゴリズムの実用性に関する重要な問題を明らかにするとともに,さらなる評価を促進するためのベンチマークを公表した。
関連論文リスト
- Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。
我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
論文 参考訳(メタデータ) (2024-05-29T15:53:23Z) - Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models [1.443696537295348]
プライバシーの漏洩と著作権侵害はまだ未発見だ。
我々の未学習のアルゴリズムは、データに依存しない/モデルに依存しないだけでなく、ユーティリティの保存やプライバシー保証の観点からも堅牢であることが証明されている。
論文 参考訳(メタデータ) (2024-03-13T18:57:30Z) - TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。
トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。
未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
論文 参考訳(メタデータ) (2024-01-11T18:57:12Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - Tight Bounds for Machine Unlearning via Differential Privacy [0.7252027234425334]
私たちは、トレーニングされたモデルがトレーニングデータから多くのポイントを"解放"することを要求することで、いわゆる“忘れられる権利”を考えます。
DPベースの非学習アルゴリズムで実現可能な削除能力の厳密な境界を得る。
論文 参考訳(メタデータ) (2023-09-02T09:55:29Z) - Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an
Incompetent Teacher [6.884272840652062]
そこで本研究では,学習者・教師の知能・能力に乏しい教師を学習者・教師の枠組みで探究し,忘れがちさを誘発する手法を提案する。
有能で無能な教師からの知識は、学生に選択的に伝達され、忘れデータに関する情報を含まないモデルが得られる。
ゼロ・ナッシング(ZRF)メトリクスを導入し、未学習の手法を評価する。
論文 参考訳(メタデータ) (2022-05-17T05:13:17Z) - Zero-Shot Machine Unlearning [6.884272840652062]
現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。
トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。
本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
論文 参考訳(メタデータ) (2022-01-14T19:16:09Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。
ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
論文 参考訳(メタデータ) (2021-07-08T14:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。