論文の概要: Federated Boosted Decision Trees with Differential Privacy

• arxiv url: http://arxiv.org/abs/2210.02910v1
• Date: Thu, 6 Oct 2022 13:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 17:57:12.795592
• Title: Federated Boosted Decision Trees with Differential Privacy
• Title（参考訳）: Federated Boosted Decision Trees with Differential Privacy
• Authors: Samuel Maddock, Graham Cormode, Tianhao Wang, Carsten Maple and Somesh Jha
• Abstract要約: 本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。 高いレベルのプライバシを維持しながら、極めて高いユーティリティを実現することが可能であることを、慎重に選択することで示しています。
• 参考スコア（独自算出の注目度）: 24.66980518231163
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is great demand for scalable, secure, and efficient privacy-preserving machine learning models that can be trained over distributed data. While deep learning models typically achieve the best results in a centralized non-secure setting, different models can excel when privacy and communication constraints are imposed. Instead, tree-based approaches such as XGBoost have attracted much attention for their high performance and ease of use; in particular, they often achieve state-of-the-art results on tabular data. Consequently, several recent works have focused on translating Gradient Boosted Decision Tree (GBDT) models like XGBoost into federated settings, via cryptographic mechanisms such as Homomorphic Encryption (HE) and Secure Multi-Party Computation (MPC). However, these do not always provide formal privacy guarantees, or consider the full range of hyperparameters and implementation settings. In this work, we implement the GBDT model under Differential Privacy (DP). We propose a general framework that captures and extends existing approaches for differentially private decision trees. Our framework of methods is tailored to the federated setting, and we show that with a careful choice of techniques it is possible to achieve very high utility while maintaining strong levels of privacy.
• Abstract（参考訳）: 分散データを通じてトレーニング可能な、スケーラブルでセキュアで効率的なプライバシ保護機械学習モデルには、大きな需要があります。 ディープラーニングモデルは通常、集中型非セキュアな設定で最高の結果を達成するが、プライバシと通信の制約が課される場合、異なるモデルが優れている。 代わりに、XGBoostのようなツリーベースのアプローチは、高いパフォーマンスと使いやすさに多くの注目を集めている。 その結果、最近のいくつかの研究は、XGBoostのようなグラディエントブースト決定木(GBDT)モデルを、ホモモルフィック暗号化(HE)やセキュアマルチパーティ計算(MPC)といった暗号機構を介して、フェデレーション設定に翻訳することに焦点を当てている。 しかし、これらは必ずしも正式なプライバシー保証を提供したり、ハイパーパラメータと実装設定の完全な範囲を考慮していない。 本研究では,差分プライバシー(DP)の下でGBDTモデルを実装した。 本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。 当社の手法の枠組みは, 連携した設定に合わせたものであり, 高度なプライバシーを維持しつつ, 極めて高い実用性を実現することができることを示す。

関連論文リスト

• CorBin-FL: A Differentially Private Federated Learning Mechanism using Common Randomness [6.881974834597426]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 相関2値量子化を用いて差分プライバシーを実現するプライバシー機構であるCorBin-FLを導入する。 また,PLDP,ユーザレベル,サンプルレベルの中央差分プライバシー保証に加えて,AugCorBin-FLも提案する。
  論文  参考訳（メタデータ） (2024-09-20T00:23:44Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Differentially Private Fine-Tuning of Diffusion Models [22.454127503937883]
  微分プライバシーと拡散モデル(DM)の統合は、有望だが挑戦的なフロンティアを示している。 この分野での最近の進歩は、公開データによる事前学習によって高品質な合成データを生成する可能性を強調している。 本稿では,プライバシとユーティリティのトレードオフを高めるために,トレーニング可能なパラメータの数を最小限に抑える,プライベート拡散モデルに最適化された戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T14:18:04Z)
• Unified Mechanism-Specific Amplification by Subsampling and Group Privacy Amplification [54.1447806347273]
  サブサンプリングによる増幅は、差分プライバシーを持つ機械学習の主要なプリミティブの1つである。 本稿では、メカニズム固有の保証を導出するための最初の一般的なフレームワークを提案する。 サブサンプリングが複数のユーザのプライバシに与える影響を分析する。
  論文  参考訳（メタデータ） (2024-03-07T19:36:05Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Don't Generate Me: Training Differentially Private Generative Models with Sinkhorn Divergence [73.14373832423156]
  そこで我々はDP-Sinkhornを提案する。DP-Sinkhornは個人データからデータ分布を差分プライバシで学習するための新しいトランスポートベース生成手法である。 差分的にプライベートな生成モデルを訓練するための既存のアプローチとは異なり、我々は敵の目的に頼らない。
  論文  参考訳（メタデータ） (2021-11-01T18:10:21Z)
• Large-Scale Secure XGB for Vertical Federated Learning [15.864654742542246]
  本稿では,縦型学習環境下での大規模セキュアなXGBの構築を目的とする。 我々は、トレーニング中に中間情報が漏洩することを避けるために、セキュアなマルチパーティ計算技術を採用している。 セキュアな置換プロトコルを提案することで、トレーニング効率を改善し、フレームワークを大規模なデータセットにスケールすることが可能になります。
  論文  参考訳（メタデータ） (2020-05-18T06:31:10Z)
• FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection [26.54574385850849]
  本研究では,LDP下でのフェデレーションSGDのための2段階フレームワークFedSelを提案する。 具体的には,3つの私的次元選択機構を提案し,蓄積手法を適用し,ノイズのある更新で学習プロセスを安定化させる。 また、FedSelのプライバシー、正確性、時間的複雑さも理論的に分析し、最先端のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2020-03-24T03:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。