論文の概要: Vertical Machine Unlearning: Selectively Removing Sensitive Information From Latent Feature Space

• arxiv url: http://arxiv.org/abs/2202.13295v1
• Date: Sun, 27 Feb 2022 05:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 17:47:09.949274
• Title: Vertical Machine Unlearning: Selectively Removing Sensitive Information From Latent Feature Space
• Title（参考訳）: 垂直マシンアンラーニング:潜在機能空間からセンシティブな情報を選択的に削除する
• Authors: Tao Guo, Song Guo, Jiewei Zhang, Wenchao Xu, Junxiao Wang
• Abstract要約: 遅延特徴空間から機密情報のみを除去することを目的とした縦型アンラーニングモードについて検討する。 我々はこの非学習について直観的かつ形式的な定義を導入し、既存の水平的非学習との関係を示す。 厳密な理論的解析により上界の近似を推定する。
• 参考スコア（独自算出の注目度）: 21.8933559159369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the enactment of privacy regulations has promoted the rise of machine unlearning paradigm. Most existing studies mainly focus on removing unwanted data samples from a learnt model. Yet we argue that they remove overmuch information of data samples from latent feature space, which is far beyond the sensitive feature scope that genuinely needs to be unlearned. In this paper, we investigate a vertical unlearning mode, aiming at removing only sensitive information from latent feature space. First, we introduce intuitive and formal definitions for this unlearning and show its orthogonal relationship with existing horizontal unlearning. Secondly, given the fact of lacking general solutions to vertical unlearning, we introduce a ground-breaking solution based on representation detachment, where the task-related information is encouraged to retain while the sensitive information is progressively forgotten. Thirdly, observing that some computation results during representation detachment are hard to obtain in practice, we propose an approximation with an upper bound to estimate it, with rigorous theoretical analysis. We validate our method by spanning several datasets and models with prevailing performance. We envision this work as a necessity for future machine unlearning system and an essential component of the latest privacy-related legislation.
• Abstract（参考訳）: 近年,プライバシ規制の施行により,機械学習パラダイムの興隆が促進されている。 既存の研究は主に学習モデルから不要なデータサンプルを取り除くことに焦点を当てている。 しかし、潜在機能領域からデータサンプルの過剰な情報を取り除き、真に学ばなければならない機密性の高い機能範囲をはるかに超えています。 本稿では,高感度情報のみを潜在的特徴空間から除去することを目的とした垂直アンラーニングモードについて検討する。 まず,この非学習に関する直観的・形式的定義を導入し,その直交的関係を示す。 第2に,垂直的アンラーニングに対する一般的な解が欠如していることを踏まえ,タスク関連情報の保持が奨励され,センシティブな情報が徐々に忘れられるという,表現分離に基づく画期的な解を導入する。 第3に, 表現分離時の計算結果が実際に得るのが難しいことを観測し, 厳密な理論解析を用いて, 上界で推定する近似を提案する。 性能の高い複数のデータセットとモデルにまたがって,提案手法を検証する。 我々は、この研究を、将来の機械学習システムの必要性と、最新のプライバシー関連の法律の必須要素として想定する。

関連論文リスト

• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models [7.742594744641462]
  機械学習の目的は、よく訓練されたモデルで残りのデータセットのデータを保存しながら、忘れられたデータから派生した情報を削除することである。 本研究では,アンラーニングプロセス中にラベルを必要とせずに,教師なしのアンラーニングアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-31T00:29:00Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
  学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Localized Shortcut Removal [4.511561231517167]
  保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。 これはしばしば、機械学習のショートカットの存在が原因である。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
  論文  参考訳（メタデータ） (2022-11-24T13:05:33Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。