論文の概要: Knowledge Removal in Sampling-based Bayesian Inference

• arxiv url: http://arxiv.org/abs/2203.12964v1
• Date: Thu, 24 Mar 2022 10:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 12:42:28.091906
• Title: Knowledge Removal in Sampling-based Bayesian Inference
• Title（参考訳）: サンプリングに基づくベイズ推論における知識除去
• Authors: Shaopeng Fu, Fengxiang He, Dacheng Tao
• Abstract要約: 単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。 既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。 本稿では,MCMCのための機械学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 86.14397783398711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The right to be forgotten has been legislated in many countries, but its enforcement in the AI industry would cause unbearable costs. When single data deletion requests come, companies may need to delete the whole models learned with massive resources. Existing works propose methods to remove knowledge learned from data for explicitly parameterized models, which however are not appliable to the sampling-based Bayesian inference, i.e., Markov chain Monte Carlo (MCMC), as MCMC can only infer implicit distributions. In this paper, we propose the first machine unlearning algorithm for MCMC. We first convert the MCMC unlearning problem into an explicit optimization problem. Based on this problem conversion, an {\it MCMC influence function} is designed to provably characterize the learned knowledge from data, which then delivers the MCMC unlearning algorithm. Theoretical analysis shows that MCMC unlearning would not compromise the generalizability of the MCMC models. Experiments on Gaussian mixture models and Bayesian neural networks confirm the effectiveness of the proposed algorithm. The code is available at \url{https://github.com/fshp971/mcmc-unlearning}.
• Abstract（参考訳）: 忘れられる権利は多くの国で合法化されているが、ai産業におけるその強制は耐え難いコストをもたらすだろう。 単一のデータ削除要求が来たとき、企業は大量のリソースで学習したモデル全体を削除する必要がある。 既存の研究では、明示的にパラメータ化されたモデルのためにデータから学んだ知識を除去する方法が提案されているが、サンプリングに基づくベイズ推定には適用できない。 本稿では,MCMCのための機械学習アルゴリズムを提案する。 まず,MCMCアンラーニング問題を明示的な最適化問題に変換する。 この問題変換に基づいて、MCMC影響関数は、データから学習した知識を確実に特徴付けるように設計され、MCMCアンラーニングアルゴリズムを提供する。 理論解析により、MCMCアンラーニングはMCMCモデルの一般化性を損なうものではないことが示された。 ガウス混合モデルとベイズニューラルネットワークの実験により,提案アルゴリズムの有効性が確認された。 コードは \url{https://github.com/fshp971/mcmc-unlearning} で入手できる。

関連論文リスト

• Integration of Active Learning and MCMC Sampling for Efficient Bayesian Calibration of Mechanical Properties [0.5242869847419834]
  代理モデルの事前訓練では,低次元から中等次元においても後方推定に大きな誤差が生じることを示した。 本稿では,MCMCアルゴリズムの経路に基づくシンプルな能動学習戦略を提案する。 我々は,フォワードモデルをMCMCアルゴリズムではなく,推論プロセスのボトルネックとみなす。
  論文  参考訳（メタデータ） (2024-11-20T14:35:16Z)
• MCMC-driven learning [64.94438070592365]
  この論文はモンテカルロのハンドブックの章として登場することを意図している。 本研究の目的はマルコフ連鎖学習の共通点における様々な問題を統一することである。
  論文  参考訳（メタデータ） (2024-02-14T22:10:42Z)
• Bayesian neural networks via MCMC: a Python-based tutorial [0.196629787330046]
  変分推論とマルコフ連鎖モンテカルロサンプリング法を用いてベイズ推定を行う。 このチュートリアルはPythonのコードに、その使用と拡張を可能にするデータとインストラクションを提供する。
  論文  参考訳（メタデータ） (2023-04-02T02:19:15Z)
• DG-LMC: A Turn-key and Scalable Synchronous Distributed MCMC Algorithm [21.128416842467132]
  ユーザフレンドリな分散MCMCアルゴリズムを用いて,高次元設定でのスケーリングを実現する。 本稿では,合成実験および実データ実験における提案手法の有効性について述べる。
  論文  参考訳（メタデータ） (2021-06-11T10:37:14Z)
• Bayesian Inference Forgetting [82.6681466124663]
  忘れられる権利は多くの国で合法化されているが、機械学習の施行は耐え難いコストを引き起こすだろう。 本稿では,ベイズ推論において忘れられる権利を実現するための it bayesian inference forgetting (bif) フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-16T09:52:51Z)
• Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
  本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。 実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
  論文  参考訳（メタデータ） (2020-08-12T15:02:59Z)
• Involutive MCMC: a Unifying Framework [64.46316409766764]
  iMCMCでは,幅広いMCMCアルゴリズムについて述べる。 我々は、新しいMCMCアルゴリズムを開発するための設計原則として使用できる多くのトリックを定式化する。 後者は、既知の可逆MCMCアルゴリズムをより効率的な可逆アルゴリズムに変換する2つの例で示す。
  論文  参考訳（メタデータ） (2020-06-30T10:21:42Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)
• MCMC Should Mix: Learning Energy-Based Model with Neural Transport Latent Space MCMC [110.02001052791353]
  学習エネルギーベースモデル(EBM)は学習アルゴリズムの内部ループとして学習モデルのMCMCサンプリングを必要とする。 バックボーンモデルの潜伏変数の空間において、モデルは特に単純であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T01:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。