論文の概要: Siamese Machine Unlearning with Knowledge Vaporization and Concentration

• arxiv url: http://arxiv.org/abs/2412.01207v1
• Date: Mon, 02 Dec 2024 07:19:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:30.912109
• Title: Siamese Machine Unlearning with Knowledge Vaporization and Concentration
• Title（参考訳）: 知識Vaporizationと集中度を用いたシームズマシンの学習
• Authors: Songjie Xie, Hengtao He, Shenghui Song, Jun Zhang, Khaled B. Letaief,
• Abstract要約: 本研究では,特定のデータポイントから学習知識を選択的に消去する知識蒸散と集中の概念を提案する。 提案手法では,メモリオーバヘッドの追加や,残りのデータセットへのフルアクセスは不要である。
• 参考スコア（独自算出の注目度）: 23.796344455232227
• License:
• Abstract: In response to the practical demands of the ``right to be forgotten" and the removal of undesired data, machine unlearning emerges as an essential technique to remove the learned knowledge of a fraction of data points from trained models. However, existing methods suffer from limitations such as insufficient methodological support, high computational complexity, and significant memory demands. In this work, we propose the concepts of knowledge vaporization and concentration to selectively erase learned knowledge from specific data points while maintaining representations for the remaining data. Utilizing the Siamese networks, we exemplify the proposed concepts and develop an efficient method for machine unlearning. Our proposed Siamese unlearning method does not require additional memory overhead and full access to the remaining dataset. Extensive experiments conducted across multiple unlearning scenarios showcase the superiority of Siamese unlearning over baseline methods, illustrating its ability to effectively remove knowledge from forgetting data, enhance model utility on remaining data, and reduce susceptibility to membership inference attacks.
• Abstract（参考訳）: 忘れられる権利(right to be forget)”の実践的な要求と、望ましくないデータの削除に対して、機械学習は、訓練されたモデルから少数のデータポイントの学習知識を取り除くための必須のテクニックとして現れます。 しかし、既存の手法は、方法論的サポートの不足、高い計算複雑性、重要なメモリ要求といった制限に悩まされている。 本研究では,学習した知識を特定のデータポイントから選択的に消去し,残ったデータの表現を維持しながら,知識の蒸発と集中の概念を提案する。 提案する概念を実演し,機械学習のための効率的な手法を開発した。 提案手法では,メモリオーバヘッドの追加や,残りのデータセットへのフルアクセスは不要である。 複数の未学習シナリオで実施された大規模な実験は、ベースラインメソッドよりもシームズアンラーニングの優位性を示し、データ忘れることから知識を効果的に除去する能力を示し、残りのデータに対するモデルユーティリティを強化し、メンバシップ推論攻撃に対する感受性を低下させる。

関連論文リスト

• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Edge Unlearning is Not "on Edge"! An Adaptive Exact Unlearning System on Resource-Constrained Devices [26.939025828011196]
  忘れられる権利は、機械学習モデルがデータ所有者のデータと訓練されたモデルからの情報の消去を可能にすることを義務付ける。 本稿では,ネットワークエッジ(CAUSE)における制約対応適応エクササイズ学習システムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T03:28:09Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Machine Unlearning Fails to Remove Data Poisoning Attacks [20.495836283745618]
  データ削除要求に従うことに加えて、未学習の手法の潜在的な応用として、有毒なデータに対するトレーニングの効果を除去することが挙げられる。 実験により,既存のアンラーニング手法は,多くの評価設定において有効であることが実証されているが,データ中毒の影響を除去することはできなかった。
  論文  参考訳（メタデータ） (2024-06-25T02:05:29Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Efficient Knowledge Deletion from Trained Models through Layer-wise Partial Machine Unlearning [2.3496568239538083]
  本稿では,機械学習アルゴリズムの新たなクラスを紹介する。 第1の方法は、アンネシアック・アンラーニングであり、アンネシアック・アンラーニングとレイヤーワイズ・プルーニングの統合である。 第2の方法は、階層的な部分更新をラベルフリップと最適化に基づくアンラーニングに同化する。
  論文  参考訳（メタデータ） (2024-03-12T12:49:47Z)
• Dataset Condensation Driven Machine Unlearning [0.0]
  データ規制要件とプライバシ保護機械学習の現在のトレンドは、機械学習の重要性を強調している。 我々は,機械学習のプライバシ,ユーティリティ,効率のバランスをとるために,新しいデータセット凝縮手法と革新的なアンラーニング手法を提案する。 本稿では,機械のアンラーニングを計測するための新しい効果的なアプローチを提案し,その適用方法として,メンバシップ推論とモデル逆転攻撃の防御を提案する。
  論文  参考訳（メタデータ） (2024-01-31T21:48:25Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Learning with Recoverable Forgetting [77.56338597012927]
  学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。 具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。 いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-07-17T16:42:31Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。