論文の概要: DP-XGBoost: Private Machine Learning at Scale

• arxiv url: http://arxiv.org/abs/2110.12770v1
• Date: Mon, 25 Oct 2021 09:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 15:13:57.477876
• Title: DP-XGBoost: Private Machine Learning at Scale
• Title（参考訳）: DP-XGBoost: 大規模でプライベートな機械学習
• Authors: Nicolas Grislain, Joan Gonzalvez
• Abstract要約: 本稿では,戦闘試験MLモデルのDPフォークであるXGBoostについて記述し,実装する。 当社のアプローチは、所定のプライバシー予算で達成された正確性の観点から、タスクに対する以前の大きなマージンの試行に勝っている。 また、ビッグデータにスケールし、Spark、Dask、Apacheなどの分散環境で実行できる、強化されたツリーの唯一のDP実装でもある。
• 参考スコア（独自算出の注目度）: 5.990174495635326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The big-data revolution announced ten years ago does not seem to have fully happened at the expected scale. One of the main obstacle to this, has been the lack of data circulation. And one of the many reasons people and organizations did not share as much as expected is the privacy risk associated with data sharing operations. There has been many works on practical systems to compute statistical queries with Differential Privacy (DP). There have also been practical implementations of systems to train Neural Networks with DP, but relatively little efforts have been dedicated to designing scalable classical Machine Learning (ML) models providing DP guarantees. In this work we describe and implement a DP fork of a battle tested ML model: XGBoost. Our approach beats by a large margin previous attempts at the task, in terms of accuracy achieved for a given privacy budget. It is also the only DP implementation of boosted trees that scales to big data and can run in distributed environments such as: Kubernetes, Dask or Apache Spark.
• Abstract（参考訳）: 10年前に発表されたビッグデータ革命は、期待された規模で完全には起こらなかったようだ。 これに対する大きな障害の1つは、データ循環の欠如である。 そして、人々や組織が予想以上に共有しなかった多くの理由の1つは、データ共有オペレーションに関連するプライバシーリスクである。 ディファレンシャルプライバシ(dp)を用いた統計クエリを計算するための実用的なシステムには多くの研究がある。 DPでニューラルネットワークをトレーニングするシステムの実践的な実装もあるが、DPの保証を提供するスケーラブルな古典的機械学習(ML)モデルを設計するための取り組みはほとんど行われていない。 本研究では,戦闘試験MLモデルのDPフォークであるXGBoostを記述し,実装する。 当社のアプローチは、所定のプライバシー予算で達成された正確性の観点から、タスクに対する以前の大きなマージンの試行に勝っている。 また、ビッグデータにスケールし、Kubernetes、Dask、Apache Sparkなどの分散環境で実行できる、強化されたツリーの唯一のDP実装でもある。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• Towards Efficient and Scalable Training of Differentially Private Deep Learning [5.825410941577592]
  微分プライベート勾配降下(DP-SGD)は、差分プライバシ(DP)の下で機械学習モデルを訓練するための標準アルゴリズムである。 Poissonサブサンプリングによる計算効率の良いDP-SGDの実装は簡単ではないため、多くの実装がこの要件を無視している。 本研究では,DP下でのディープラーニングモデルを学習する際の計算コストを定量化するための総合的な実証的研究を行う。 PyTorch の Opacus を用いた単純実装 DP-SGD は,SGD よりも2.6～8倍のスループットを持つことがわかった。
  論文  参考訳（メタデータ） (2024-06-25T06:04:58Z)
• Closed-Form Bounds for DP-SGD against Record-level Inference [18.85865832127335]
  我々はDP-SGDアルゴリズムに焦点をあて、単純な閉形式境界を導出する。 我々は、最先端技術にマッチする会員推定のバウンダリを得る。 属性推論に対する新しいデータ依存型バウンダリを提案する。
  論文  参考訳（メタデータ） (2024-02-22T09:26:16Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Fast and Memory Efficient Differentially Private-SGD via JL Projections [29.37156662314245]
  DP-SGDは大規模ニューラルネットワークのプライベートトレーニングで知られている唯一のアルゴリズムである。 本稿では,DP-SGD-JL とDP-Adam-JL と呼ばれる差分プライベートを設計するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-05T06:02:10Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
  差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。 本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。 このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
  論文  参考訳（メタデータ） (2020-06-16T17:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。