論文の概要: Deep Regression Unlearning

• arxiv url: http://arxiv.org/abs/2210.08196v1
• Date: Sat, 15 Oct 2022 05:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 20:14:58.061965
• Title: Deep Regression Unlearning
• Title（参考訳）: 深層回帰学習
• Authors: Ayush K Tarun, Vikram S Chundawat, Murari Mandal, Mohan Kankanhalli
• Abstract要約: 回帰問題、特にディープラーニングモデルにおける未学習について検討する。 本研究では,プライバシ攻撃に対して十分に一般化され,堅牢な深層回帰アンラーニング手法を提案する。 我々のディープレグレッションアンラーニング手法は、これらのデータセットとメトリクスすべてで優れたパフォーマンスを示します。
• 参考スコア（独自算出の注目度）: 6.884272840652062
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the introduction of data protection and privacy regulations, it has become crucial to remove the lineage of data on demand in a machine learning system. In past few years, there has been notable development in machine unlearning to remove the information of certain training data points efficiently and effectively from the model. In this work, we explore unlearning in a regression problem, particularly in deep learning models. Unlearning in classification and simple linear regression has been investigated considerably. However, unlearning in deep regression models largely remain an untouched problem till now. In this work, we introduce deep regression unlearning methods that are well generalized and robust to privacy attacks. We propose the Blindspot unlearning method which uses a novel weight optimization process. A randomly initialized model, partially exposed to the retain samples and a copy of original model are used together to selectively imprint knowledge about the data that we wish to keep and scrub the information of the data we wish to forget. We also propose a Gaussian distribution based fine tuning method for regression unlearning. The existing evaluation metrics for unlearning in a classification task are not directly applicable for regression unlearning. Therefore, we adapt these metrics for regression task. We devise a membership inference attack to check the privacy leaks in the unlearned regression model. We conduct the experiments on regression tasks for computer vision, natural language processing and forecasting applications. Our deep regression unlearning methods show excellent performance across all of these datasets and metrics.
• Abstract（参考訳）: データ保護とプライバシ規制の導入により、機械学習システムにおいて、オンデマンドのデータ系統を削除することが重要になっている。 過去数年間、特定のトレーニングデータポイントの情報を効果的かつ効果的にモデルから取り除くために、機械学習の顕著な発展が見られた。 本研究では,回帰問題,特にディープラーニングモデルにおけるアンラーニングについて検討する。 分類学の未学習と単純な線形回帰の研究が盛んに行われている。 しかし、深い回帰モデルの未学習は、これまでほとんど未学習のままだった。 本稿では,プライバシ攻撃に対して十分に一般化し,堅牢な回帰学習手法を提案する。 本稿では,新しい軽量化プロセスを用いたブラインドスポットアンラーニング手法を提案する。 保持サンプルに部分的に露出したランダム初期化モデルと原モデルのコピーを併用して、私たちが忘れたいデータの保持と精査を希望するデータに関する知識を選択的にインプリントする。 また,回帰学習のためのガウス分布に基づく微調整法を提案する。 分類タスクにおけるアンラーニングのための既存の評価指標は、回帰アンラーニングに直接適用できない。 したがって、回帰タスクにこれらの指標を適用する。 我々は,非学習回帰モデルにおけるプライバシリークをチェックするために,メンバシップ推論攻撃を考案する。 コンピュータビジョン,自然言語処理,予測アプリケーションのための回帰タスクの実験を行う。 我々のディープレグレッションアンラーニング手法は、これらのデータセットとメトリクスすべてで優れたパフォーマンスを示します。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• AI Model Disgorgement: Methods and Choices [127.54319351058167]
  本稿では,現代の機械学習システムに適用可能な分類法を紹介する。 学習モデルにおけるデータ「効果の除去」の意味を,スクラッチからリトレーニングする必要のない方法で検討する。
  論文  参考訳（メタデータ） (2023-04-07T08:50:18Z)
• Machine Unlearning Method Based On Projection Residual [23.24026891609028]
  本稿ではニュートン法に基づく投射残差法を採用する。 主な目的は、線形回帰モデルとニューラルネットワークモデルという文脈で機械学習タスクを実装することである。 実験により, この手法は, モデル再学習に近いデータ削除において, より徹底的な手法であることが確認された。
  論文  参考訳（メタデータ） (2022-09-30T07:29:55Z)
• Zero-Shot Machine Unlearning [6.884272840652062]
  現代のプライバシー規制は、市民に製品、サービス、企業によって忘れられる権利を与える。 トレーニングプロセスやトレーニングサンプルに関連するデータは、未学習の目的のためにアクセスできない。 本稿では, (a) 誤り最小化雑音と (b) ゲート付き知識伝達に基づくゼロショットマシンアンラーニングのための2つの新しい解を提案する。
  論文  参考訳（メタデータ） (2022-01-14T19:16:09Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。