論文の概要: Federated Boosted Decision Trees with Differential Privacy
- arxiv url: http://arxiv.org/abs/2210.02910v1
- Date: Thu, 6 Oct 2022 13:28:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 17:57:12.795592
- Title: Federated Boosted Decision Trees with Differential Privacy
- Title(参考訳): Federated Boosted Decision Trees with Differential Privacy
- Authors: Samuel Maddock, Graham Cormode, Tianhao Wang, Carsten Maple and Somesh
Jha
- Abstract要約: 本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。
高いレベルのプライバシを維持しながら、極めて高いユーティリティを実現することが可能であることを、慎重に選択することで示しています。
- 参考スコア(独自算出の注目度): 24.66980518231163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is great demand for scalable, secure, and efficient privacy-preserving
machine learning models that can be trained over distributed data. While deep
learning models typically achieve the best results in a centralized non-secure
setting, different models can excel when privacy and communication constraints
are imposed. Instead, tree-based approaches such as XGBoost have attracted much
attention for their high performance and ease of use; in particular, they often
achieve state-of-the-art results on tabular data. Consequently, several recent
works have focused on translating Gradient Boosted Decision Tree (GBDT) models
like XGBoost into federated settings, via cryptographic mechanisms such as
Homomorphic Encryption (HE) and Secure Multi-Party Computation (MPC). However,
these do not always provide formal privacy guarantees, or consider the full
range of hyperparameters and implementation settings. In this work, we
implement the GBDT model under Differential Privacy (DP). We propose a general
framework that captures and extends existing approaches for differentially
private decision trees. Our framework of methods is tailored to the federated
setting, and we show that with a careful choice of techniques it is possible to
achieve very high utility while maintaining strong levels of privacy.
- Abstract(参考訳): 分散データを通じてトレーニング可能な、スケーラブルでセキュアで効率的なプライバシ保護機械学習モデルには、大きな需要があります。
ディープラーニングモデルは通常、集中型非セキュアな設定で最高の結果を達成するが、プライバシと通信の制約が課される場合、異なるモデルが優れている。
代わりに、XGBoostのようなツリーベースのアプローチは、高いパフォーマンスと使いやすさに多くの注目を集めている。
その結果、最近のいくつかの研究は、XGBoostのようなグラディエントブースト決定木(GBDT)モデルを、ホモモルフィック暗号化(HE)やセキュアマルチパーティ計算(MPC)といった暗号機構を介して、フェデレーション設定に翻訳することに焦点を当てている。
しかし、これらは必ずしも正式なプライバシー保証を提供したり、ハイパーパラメータと実装設定の完全な範囲を考慮していない。
本研究では,差分プライバシー(DP)の下でGBDTモデルを実装した。
本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。
当社の手法の枠組みは, 連携した設定に合わせたものであり, 高度なプライバシーを維持しつつ, 極めて高い実用性を実現することができることを示す。
関連論文リスト
- Private Fine-tuning of Large Language Models with Zeroth-order
Optimization [54.24600476755372]
DP-ZO(DP-ZO)は、ゼロオーダー最適化を民営化し、トレーニングデータのプライバシを保存する、大規模言語モデルを微調整する新しい手法である。
DP-ZOは、SQuADから1000のトレーニングサンプルにOPT-66Bを微調整すると、プライバシが1,10-5)$-DPになるため、わずか1.86%のパフォーマンス低下を示す。
論文 参考訳(メタデータ) (2024-01-09T03:53:59Z) - Privacy-Preserving Tree-Based Inference with TFHE [0.0]
我々は、暗号化データ上で任意の計算を実行できる強力なツールであるFHE(Fully Homomorphic Encryption)に焦点を当てる。
本稿では、FHEをツリーベースモデルに適用し、暗号化されたデータに対して最先端のソリューションを得る方法について述べる。
論文 参考訳(メタデータ) (2023-02-13T10:33:21Z) - Individual Privacy Accounting for Differentially Private Stochastic
Gradient Descent [73.2635854205537]
DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。
ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。
これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
論文 参考訳(メタデータ) (2022-06-06T13:49:37Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Don't Generate Me: Training Differentially Private Generative Models
with Sinkhorn Divergence [73.14373832423156]
そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。
差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
論文 参考訳(メタデータ) (2021-11-01T18:10:21Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳(メタデータ) (2021-10-27T04:11:06Z) - DataLens: Scalable Privacy Preserving Training via Gradient Compression
and Aggregation [15.63770709526671]
スケーラブルなプライバシー保護生成モデルDataLENSを提案します。
その結果,DATALENSは他のベースラインDP生成モデルよりも優れていた。
DataLENSの主要なビルディングブロックの一つである提案されたTOPAGGアプローチをDP SGDトレーニングに適応させます。
論文 参考訳(メタデータ) (2021-03-20T06:14:19Z) - GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially
Private Generators [74.16405337436213]
我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。
GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。
このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
論文 参考訳(メタデータ) (2020-06-15T10:01:01Z) - Large-Scale Secure XGB for Vertical Federated Learning [15.864654742542246]
本稿では,縦型学習環境下での大規模セキュアなXGBの構築を目的とする。
我々は、トレーニング中に中間情報が漏洩することを避けるために、セキュアなマルチパーティ計算技術を採用している。
セキュアな置換プロトコルを提案することで、トレーニング効率を改善し、フレームワークを大規模なデータセットにスケールすることが可能になります。
論文 参考訳(メタデータ) (2020-05-18T06:31:10Z) - FedSel: Federated SGD under Local Differential Privacy with Top-k
Dimension Selection [26.54574385850849]
本研究では,LDP下でのフェデレーションSGDのための2段階フレームワークFedSelを提案する。
具体的には,3つの私的次元選択機構を提案し,蓄積手法を適用し,ノイズのある更新で学習プロセスを安定化させる。
また、FedSelのプライバシー、正確性、時間的複雑さも理論的に分析し、最先端のソリューションよりも優れています。
論文 参考訳(メタデータ) (2020-03-24T03:31:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。