論文の概要: Large-Scale Secure XGB for Vertical Federated Learning
- arxiv url: http://arxiv.org/abs/2005.08479v2
- Date: Thu, 2 Sep 2021 04:11:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 23:13:44.191288
- Title: Large-Scale Secure XGB for Vertical Federated Learning
- Title(参考訳): 垂直フェデレーション学習のための大規模セキュアxgb
- Authors: Wenjing Fang, Derun Zhao, Jin Tan, Chaochao Chen, Chaofan Yu, Li Wang,
Lei Wang, Jun Zhou, Benyu Zhang
- Abstract要約: 本稿では,縦型学習環境下での大規模セキュアなXGBの構築を目的とする。
我々は、トレーニング中に中間情報が漏洩することを避けるために、セキュアなマルチパーティ計算技術を採用している。
セキュアな置換プロトコルを提案することで、トレーニング効率を改善し、フレームワークを大規模なデータセットにスケールすることが可能になります。
- 参考スコア(独自算出の注目度): 15.864654742542246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Privacy-preserving machine learning has drawn increasingly attention
recently, especially with kinds of privacy regulations come into force. Under
such situation, Federated Learning (FL) appears to facilitate
privacy-preserving joint modeling among multiple parties. Although many
federated algorithms have been extensively studied, there is still a lack of
secure and practical gradient tree boosting models (e.g., XGB) in literature.
In this paper, we aim to build large-scale secure XGB under vertically
federated learning setting. We guarantee data privacy from three aspects.
Specifically, (i) we employ secure multi-party computation techniques to avoid
leaking intermediate information during training, (ii) we store the output
model in a distributed manner in order to minimize information release, and
(iii) we provide a novel algorithm for secure XGB predict with the distributed
model. Furthermore, by proposing secure permutation protocols, we can improve
the training efficiency and make the framework scale to large dataset. We
conduct extensive experiments on both public datasets and real-world datasets,
and the results demonstrate that our proposed XGB models provide not only
competitive accuracy but also practical performance.
- Abstract(参考訳): プライバシー保護機械学習は、特にプライバシー規制が施行されるにつれて、近年ますます注目を集めている。
このような状況下では、フェデレートラーニング(FL)は、複数の当事者間のプライバシー保護共同モデリングを促進する。
多くのフェデレーションアルゴリズムが広く研究されているが、文献には安全で実用的な勾配木ブースティングモデル(例えばXGB)が欠けている。
本稿では,縦型学習環境下での大規模セキュアなXGBの構築を目的とする。
データプライバシを3つの側面から保証します。
具体的には
(i)訓練中に中間情報を漏らすのを避けるために,セキュアなマルチパーティ計算技術を用いる。
(二)情報公開を最小限に抑えるため、出力モデルを分散的に保存し、
(iii)分散モデルを用いてXGB予測をセキュアにするための新しいアルゴリズムを提供する。
さらに、セキュアな置換プロトコルを提案することにより、トレーニング効率を改善し、フレームワークを大規模データセットにスケールすることができる。
我々は,公開データセットと実世界のデータセットの両方について広範な実験を行い,提案するxgbモデルが競合精度だけでなく実用性能も発揮できることを実証した。
関連論文リスト
- Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-16T13:32:43Z) - Can Public Large Language Models Help Private Cross-device Federated
Learning? [51.78446908697249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳(メタデータ) (2023-05-20T07:55:58Z) - Federated Boosted Decision Trees with Differential Privacy [24.66980518231163]
本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。
高いレベルのプライバシを維持しながら、極めて高いユーティリティを実現することが可能であることを、慎重に選択することで示しています。
論文 参考訳(メタデータ) (2022-10-06T13:28:29Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳(メタデータ) (2022-07-19T05:47:30Z) - sqSGD: Locally Private and Communication Efficient Federated Learning [14.60645909629309]
Federated Learning(FL)は、分散データソースから機械学習モデルをトレーニングするテクニックである。
我々は,通信効率と高次元互換性に対処するsqSGDという勾配学習アルゴリズムを開発した。
実験の結果、sqSGDはローカルのプライバシー制約でLeNetやResNetのような大規模なモデルをうまく学習している。
論文 参考訳(メタデータ) (2022-06-21T17:45:35Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Efficient Logistic Regression with Local Differential Privacy [0.0]
モノのインターネット(Internet of Things)デバイスは急速に拡大し、大量のデータを生み出している。
これらのデバイスから収集されたデータを探索する必要性が高まっている。
コラボレーション学習は、モノのインターネット(Internet of Things)設定に戦略的ソリューションを提供すると同時に、データのプライバシに関する一般の懸念も引き起こす。
論文 参考訳(メタデータ) (2022-02-05T22:44:03Z) - Fishing for User Data in Large-Batch Federated Learning via Gradient
Magnification [65.33308059737506]
フェデレートラーニング(FL)は、プライバシーと効率性の約束により急速に人気が高まっている。
これまでの作業では、勾配更新からユーザデータを復元することで、FLパイプラインのプライバシの脆弱性が露呈されていた。
我々は、任意のサイズのバッチで運用するために、既存の攻撃を劇的に高める新しい戦略を導入する。
論文 参考訳(メタデータ) (2022-02-01T17:26:11Z) - An Efficient Learning Framework For Federated XGBoost Using Secret
Sharing And Distributed Optimization [47.70500612425959]
XGBoostは、より優れた学習精度と効率のため、業界で最も広く使われている機械学習モデルの1つである。
ビッグデータ問題におけるデータ分離問題に対処するためには、セキュアで効率的なフェデレーションXGBoost(FedXGB)モデルをデプロイすることが重要です。
本稿では,xgboostの分割基準計算プロセスをシークレット共有設定で再構成するセキュリティ保証とともに,マルチパーティフェデレーションxgb学習フレームワークを提案する。
注目すべきは、モデルセキュリティの徹底的な分析も提供され、複数の数値結果が提案されたFedXGBの優位性を示しています。
論文 参考訳(メタデータ) (2021-05-12T15:04:18Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳(メタデータ) (2020-08-29T07:19:44Z) - LDP-FL: Practical Private Aggregation in Federated Learning with Local
Differential Privacy [20.95527613004989]
フェデレーション学習は、実際のデータではなく、局所的な勾配情報を収集するプライバシー保護のための一般的なアプローチである。
それまでの作業は3つの問題により現実的な解決には至らなかった。
最後に、ディープラーニングモデルにおける重みの高次元性により、プライバシー予算が爆発的に膨らみます。
論文 参考訳(メタデータ) (2020-07-31T01:08:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。