論文の概要: Challenges and Pitfalls of Bayesian Unlearning

• arxiv url: http://arxiv.org/abs/2207.03227v1
• Date: Thu, 7 Jul 2022 11:24:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 22:50:33.406379
• Title: Challenges and Pitfalls of Bayesian Unlearning
• Title（参考訳）: ベイズアン学習の課題と落とし穴
• Authors: Ambrish Rawat, James Requeima, Wessel Bruinsma, Richard Turner
• Abstract要約: 機械学習とは、トレーニングデータのサブセットを削除し、トレーニングされたモデルへのコントリビューションを削除するタスクを指す。 近似アンラーニング(英: Approximate unlearning)は、保持されたデータのスクラッチからモデルを再トレーニングする必要がない、このタスクのためのメソッドの1つのクラスである。 ベイズの規則は、削除されたデータの可能性を切り離すことで、更新された後部を取得することを目的とする推論問題として、近似的未学習をキャストするために用いられる。
• 参考スコア（独自算出の注目度）: 6.931200003384123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning refers to the task of removing a subset of training data, thereby removing its contributions to a trained model. Approximate unlearning are one class of methods for this task which avoid the need to retrain the model from scratch on the retained data. Bayes' rule can be used to cast approximate unlearning as an inference problem where the objective is to obtain the updated posterior by dividing out the likelihood of deleted data. However this has its own set of challenges as one often doesn't have access to the exact posterior of the model parameters. In this work we examine the use of the Laplace approximation and Variational Inference to obtain the updated posterior. With a neural network trained for a regression task as the guiding example, we draw insights on the applicability of Bayesian unlearning in practical scenarios.
• Abstract（参考訳）: 機械学習とは、トレーニングデータのサブセットを削除し、トレーニングされたモデルへのコントリビューションを削除するタスクを指す。 近似アンラーニングは、保持したデータからモデルをスクラッチから再トレーニングする必要をなくす、このタスクの方法の1つのクラスである。 ベイズの規則は、削除されたデータの可能性を切り離すことで、更新された後部を取得することを目的とする推論問題として、近似的未学習をキャストするために用いられる。 しかし、モデルパラメータの正確な後方にアクセスできないことが多いため、これは独自の課題を持っています。 本研究では,ラプラス近似と変分推論を用いて更新後部を求める。 回帰タスクを指導する例として、ニューラルネットワークをトレーニングすることで、実践シナリオにおけるベイズアンラーニングの適用性に関する洞察を導き出す。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Learning to Unlearn: Instance-wise Unlearning for Pre-trained Classifiers [71.70205894168039]
  そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。 本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T07:53:50Z)
• Deep Regression Unlearning [6.884272840652062]
  我々は、プライバシー攻撃に対して堅牢な、一般化された深層回帰学習手法を導入する。 我々は、コンピュータビジョン、自然言語処理、予測アプリケーションのための回帰学習実験を行う。
  論文  参考訳（メタデータ） (2022-10-15T05:00:20Z)
• Remember to correct the bias when using deep learning for regression! [13.452510519858992]
  最小二乗回帰のためにディープラーニングモデルをトレーニングする場合、一定のトレーニング時間後に選択された最終モデルのトレーニングエラー残差がゼロになると予想できない。 トレーニング後の機械学習モデルのバイアスを、デフォルトの後処理ステップとして調整し、効率よく解決することを提案する。
  論文  参考訳（メタデータ） (2022-03-30T17:09:03Z)
• Sampling Bias Correction for Supervised Machine Learning: A Bayesian Inference Approach with Practical Applications [0.0]
  本稿では,データセットがラベルの不均衡などの意図的なサンプルバイアスを受ける可能性がある問題について議論する。 次に、この解をバイナリロジスティック回帰に適用し、データセットが意図的にサンプルバイアスを受けるシナリオについて議論する。 この手法は, 医療科学から画像認識, マーケティングに至るまで, ビッグデータの統計的推測に広く応用できる。
  論文  参考訳（メタデータ） (2022-03-11T20:46:37Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Variational Bayesian Unlearning [54.26984662139516]
  本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。 消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。 VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
  論文  参考訳（メタデータ） (2020-10-24T11:53:00Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Neural Network Retraining for Model Serving [32.857847595096025]
  我々は、推論における新しいデータの継続的な流れに対応するために、ニューラルネットワークモデルの漸進的(再)トレーニングを提案する。 破滅的な再トレーニングと効率的な再トレーニングの2つの課題に対処する。
  論文  参考訳（メタデータ） (2020-04-29T13:52:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。