論文の概要: On Newton's Method to Unlearn Neural Networks

• arxiv url: http://arxiv.org/abs/2406.14507v1
• Date: Thu, 20 Jun 2024 17:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 12:33:17.522508
• Title: On Newton's Method to Unlearn Neural Networks
• Title（参考訳）: ニューラルネットの解き放つニュートン法について
• Authors: Nhung Bui, Xinyang Lu, See-Kiong Ng, Bryan Kian Hsian Low,
• Abstract要約: NNを学習しない3次正規化ニュートン法を提案する。 その結果,本手法は破滅的忘れ込みに対する耐性が高く,ベースラインよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 17.163054897098068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning facilitates personal data ownership, including the ``right to be forgotten''. The proliferation of applications of \emph{neural networks} (NNs) trained on users' personal data calls for the need to develop algorithms to unlearn an NN. Since retraining is costly, efficiency is often achieved through approximate unlearning which aims to unlearn a trained NN to be close to the retrained one (in distribution). Though the Newton's method has been used by previous works to approximately unlearn linear models, adapting it for unlearning an NN often encounters degenerate Hessians that make computing the Newton's update impossible. In this paper, we will first show that when coupled with naive yet often effective solutions to mitigate the degeneracy issue for unlearning, the Newton's method surprisingly suffers from catastrophic forgetting. To overcome this difficulty, we revise the Newton's method to include a theoretically justified regularizer and propose a cubic-regularized Newton's method for unlearning an NN. The cubic regularizer comes with the benefits of not requiring manual finetuning and affording a natural interpretation. Empirical evaluation on several models and real-world datasets shows that our method is more resilient to catastrophic forgetting and performs better than the baselines, especially in sequential unlearning.
• Abstract（参考訳）: 機械学習は、‘忘れられる権利’を含む個人データの所有を促進する。 NNを解放するアルゴリズムを開発する必要があるため、ユーザの個人データコールに基づいてトレーニングされた 'emph{neural network} (NN) のアプリケーションの普及。 リトレーニングはコストがかかるため、トレーニングされたNNを(分布において)リトレーニングされたNNに近づけることを目的とした、近似的なアンラーニングによって効率が達成されることが多い。 ニュートンの手法は以前の研究でほとんど未学習の線形モデルに使われてきたが、NNが未学習に適応すると、ニュートンの更新を計算不能にする縮退したヘッセンに遭遇することが多い。 本稿ではまず,非学習の先進的問題を緩和するために,ナイーブかつ効果的な解法を組み合わせると,ニュートン法は破滅的な忘れ込みに悩まされることが予想されることを示す。 この難しさを克服するために、理論上正当化された正則化器を含むニュートン法を改訂し、NNをアンラーニングするニュートン法を提案する。 立方正則化器は手作業による微調整を必要とせず、自然な解釈が可能であるという利点がある。 いくつかのモデルと実世界のデータセットに対する実証的な評価は、我々の手法が破滅的な忘れ方に対してよりレジリエンスであり、特に逐次的アンラーニングにおいて、ベースラインよりも優れた性能を発揮することを示している。

関連論文リスト

• Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
  本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。 ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
  論文  参考訳（メタデータ） (2024-05-29T04:53:31Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks [3.6280929178575994]
  本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。 提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-09T12:15:38Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Neural Network Retraining for Model Serving [32.857847595096025]
  我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。 破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
  論文  参考訳（メタデータ） (2020-04-29T13:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。