論文の概要: Bayesian Inference Forgetting
- arxiv url: http://arxiv.org/abs/2101.06417v2
- Date: Thu, 18 Feb 2021 09:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 04:38:00.837158
- Title: Bayesian Inference Forgetting
- Title(参考訳): ベイズ推論フォーミング
- Authors: Shaopeng Fu, Fengxiang He, Yue Xu, Dacheng Tao
- Abstract要約: 忘れられる権利は多くの国で合法化されているが、機械学習の施行は耐え難いコストを引き起こすだろう。
本稿では,ベイズ推論において忘れられる権利を実現するための it bayesian inference forgetting (bif) フレームワークを提案する。
- 参考スコア(独自算出の注目度): 82.6681466124663
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The right to be forgotten has been legislated in many countries but the
enforcement in machine learning would cause unbearable costs: companies may
need to delete whole models learned from massive resources due to single
individual requests. Existing works propose to remove the knowledge learned
from the requested data via its influence function which is no longer naturally
well-defined in Bayesian inference. This paper proposes a {\it Bayesian
inference forgetting} (BIF) framework to realize the right to be forgotten in
Bayesian inference. In the BIF framework, we develop forgetting algorithms for
variational inference and Markov chain Monte Carlo. We show that our algorithms
can provably remove the influence of single datums on the learned models.
Theoretical analysis demonstrates that our algorithms have guaranteed
generalizability. Experiments of Gaussian mixture models on the synthetic
dataset and Bayesian neural networks on the real-world data verify the
feasibility of our methods. The source code package is available at
\url{https://github.com/fshp971/BIF}.
- Abstract(参考訳): 忘れられる権利は、多くの国で合法化されているが、機械学習の施行は、膨大なコストを発生させる。
既存の研究は、ベイズ推論においてもはや自然に明確に定義されていない影響関数を通じて、要求されたデータから学んだ知識を取り除くことを提案する。
本稿では,ベイズ推論において忘れられる権利を実現するためのBIFフレームワークを提案する。
bifフレームワークでは、変分推論とマルコフ連鎖モンテカルロのための忘れるアルゴリズムを開発した。
我々のアルゴリズムは学習モデルに対する単一のデームの影響を立証できることを示した。
理論的解析は、我々のアルゴリズムが一般化可能性を保証することを示した。
合成データセット上のガウス混合モデルと実世界データ上のベイズニューラルネットワークの実験により,本手法の有効性が検証された。
ソースコードパッケージは \url{https://github.com/fshp971/BIF} で入手できる。
関連論文リスト
- Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。
本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
論文 参考訳(メタデータ) (2024-02-08T22:05:45Z) - Partially Oblivious Neural Network Inference [4.843820624525483]
CNNのようなニューラルネットワークモデルでは、いくつかの情報漏洩が許容可能であることを示す。
我々は,CIFAR-10ネットワークにおいて,モデル重量の最大80%を,事実上のセキュリティ上の影響なく漏洩させることができることを実験的に実証した。
論文 参考訳(メタデータ) (2022-10-27T05:39:36Z) - Knowledge Removal in Sampling-based Bayesian Inference [86.14397783398711]
単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。
既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。
本稿では,MCMCのための機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-24T10:03:01Z) - ReLU Regression with Massart Noise [52.10842036932169]
本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。
我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。
このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-09-10T02:13:22Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-09-08T18:08:36Z) - Extending the statistical software package Engine for Likelihood-Free
Inference [0.0]
この論文は、ソフトウェアパッケージ Engine for Likelihood-Free Inference (ELFI) におけるRobust optimisation Monte Carlo (ROMC) メソッドの実装に焦点を当てている。
我々の実装は、シミュレーターベースのモデルで推論を実行したい実践者に対して、堅牢で効率的なソリューションを提供します。
論文 参考訳(メタデータ) (2020-11-08T13:22:37Z) - Variational Bayesian Unlearning [54.26984662139516]
本研究では, ベイズモデルの学習を, 消去する訓練データの小さな部分集合から, ほぼ非学習する問題について検討する。
消去されたデータから完全に学習されていないデータと、過去の信念を完全に忘れていないデータとをトレードオフする証拠を最小化するのと等価であることを示す。
VI を用いたモデルトレーニングでは、完全なデータから近似した(正確には)後続の信念しか得られず、未学習をさらに困難にしている。
論文 参考訳(メタデータ) (2020-10-24T11:53:00Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳(メタデータ) (2020-08-29T07:19:44Z) - Towards Deep Learning Models Resistant to Large Perturbations [0.0]
敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
論文 参考訳(メタデータ) (2020-03-30T12:03:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。