論文の概要: GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
- arxiv url: http://arxiv.org/abs/2008.12925v1
- Date: Sat, 29 Aug 2020 07:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 16:52:27.654194
- Title: GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
- Title（参考訳）: GRAFFL:ベイズ生成モデルのグラディエントフリーフェデレーション学習
- Authors: Seok-Ju Hahn, Junghye Lee
- Abstract要約: 本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
- 参考スコア（独自算出の注目度）: 8.87104231451079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning platforms are gaining popularity. One of the major
benefits is to mitigate the privacy risks as the learning of algorithms can be
achieved without collecting or sharing data. While federated learning (i.e.,
many based on stochastic gradient algorithms) has shown great promise, there
are still many challenging problems in protecting privacy, especially during
the process of gradients update and exchange. This paper presents the first
gradient-free federated learning framework called GRAFFL for learning a
Bayesian generative model based on approximate Bayesian computation. Unlike
conventional federated learning algorithms based on gradients, our framework
does not require to disassemble a model (i.e., to linear components) or to
perturb data (or encryption of data for aggregation) to preserve privacy.
Instead, this framework uses implicit information derived from each
participating institution to learn posterior distributions of parameters. The
implicit information is summary statistics derived from SuffiAE that is a
neural network developed in this study to create compressed and linearly
separable representations thereby protecting sensitive information from
leakage. As a sufficient dimensionality reduction technique, this is proved to
provide sufficient summary statistics. We propose the GRAFFL-based Bayesian
Gaussian mixture model to serve as a proof-of-concept of the framework. Using
several datasets, we demonstrated the feasibility and usefulness of our model
in terms of privacy protection and prediction performance (i.e., close to an
ideal setting). The trained model as a quasi-global model can generate
informative samples involving information from other institutions and enhances
data analysis of each institution.
- Abstract（参考訳）: 連合学習プラットフォームの人気が高まっている。
アルゴリズムの学習はデータの収集や共有をせずに実現できるため、プライバシのリスクを軽減することが大きなメリットのひとつだ。
フェデレーション学習(確率的勾配アルゴリズムに基づくものが多い)には大きな期待が持たれているが、特に勾配更新と交換のプロセスにおいて、プライバシを保護する上での課題は数多く残っている。
本稿では,近似ベイズ計算に基づくベイズ生成モデルを学ぶためのgrafflと呼ばれる最初の勾配なし連立学習フレームワークを提案する。
グラデーションに基づく従来のフェデレーション学習アルゴリズムとは異なり、我々のフレームワークはプライバシを保護するためにモデル(リニアコンポーネント)や摂動データ(あるいはアグリゲーションのためのデータの暗号化)を分解する必要がない。
代わりに、このフレームワークは各参加者機関から派生した暗黙の情報を使用して、パラメータの後方分布を学習する。
暗黙的情報は,本研究で開発されたニューラルネットワークであるsuffiaeから派生した要約統計であり,機密情報を漏洩から保護するため,圧縮および線形分離可能な表現を生成する。
十分な次元削減技術として、この手法が十分な要約統計を提供することが証明された。
本稿では,GRAFFLに基づくベイジアン・ガウス混合モデルを提案する。
複数のデータセットを用いて,プライバシ保護と予測性能(理想的な設定に近い)の観点から,モデルの有効性と有用性を実証した。
準グローバルモデルとして訓練されたモデルは、他の機関の情報を含む情報的サンプルを生成し、各機関のデータ分析を強化することができる。
関連論文リスト
- Fed-GLOSS-DP: Federated, Global Learning using Synthetic Sets with
Record Level Differential Privacy [62.45153213451055]
Fed-GLOSS-DPは、合成データを使用してフェデレーションモデルをトレーニングするプライバシー保護学習の新しいアプローチである。
従来の勾配に基づく線形近似とは対照的に、我々の定式化は大域最適化の種別を可能にする。
論文 参考訳（メタデータ） (2023-02-02T12:56:46Z) - VertiBayes: Learning Bayesian network parameters from vertically
partitioned data with missing values [0.649970685896541]
フェデレーション学習は、分散データに基づいて機械学習モデルをトレーニングすることを可能にする。
本稿では,垂直分割データ上でベイズネットワークを学習するためのVertiBayesという新しい手法を提案する。
提案手法は,従来のアルゴリズムを用いて学習したモデルに匹敵するモデルを生成する。
論文 参考訳（メタデータ） (2022-10-31T11:13:35Z) - Privacy-Preserved Neural Graph Similarity Learning [99.78599103903777]
本稿では,グラフ類似性学習のためのプライバシ保存型ニューラルグラフマッチングネットワークモデルPPGMを提案する。
再構成攻撃を防ぐため、提案モデルではデバイス間でノードレベルの表現を通信しない。
グラフプロパティに対する攻撃を軽減するため、両方のベクトルの情報を含む難読化機能は通信される。
論文 参考訳（メタデータ） (2022-10-21T04:38:25Z) - sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。
我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。
実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文 参考訳（メタデータ） (2022-06-21T17:45:35Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Secure Neuroimaging Analysis using Federated Learning with Homomorphic
Encryption [14.269757725951882]
フェデレートラーニング(FL)は、異なるリモートデータソース上の機械学習モデルの分散計算を可能にする。
最近のメンバーシップ攻撃は、モデルパラメータや要約統計が中央サイトと共有されているときに、個人的または機密性の高い個人情報が漏洩したり、推測されることがあることを示している。
完全同相暗号(FHE)を用いたセキュアFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-07T12:15:52Z) - GRNN: Generative Regression Neural Network -- A Data Leakage Attack for
Federated Learning [3.050919759387984]
画像ベースのプライバシデータは,提案されたGenerative Regression Neural Network (GRNN) によってのみ,共有グラデーションから簡単に回復できることを示した。
本手法は複数の画像分類タスクで評価する。
その結果,提案したGRNNは,安定性,強度,精度を向上し,最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-05-02T18:39:37Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Large-Scale Secure XGB for Vertical Federated Learning [15.864654742542246]
本稿では,縦型学習環境下での大規模セキュアなXGBの構築を目的とする。
我々は、トレーニング中に中間情報が漏洩することを避けるために、セキュアなマルチパーティ計算技術を採用している。
セキュアな置換プロトコルを提案することで、トレーニング効率を改善し、フレームワークを大規模なデータセットにスケールすることが可能になります。
論文 参考訳（メタデータ） (2020-05-18T06:31:10Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。