論文の概要: Boosted and Differentially Private Ensembles of Decision Trees

• arxiv url: http://arxiv.org/abs/2001.09384v2
• Date: Mon, 3 Feb 2020 22:34:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 19:18:09.138076
• Title: Boosted and Differentially Private Ensembles of Decision Trees
• Title（参考訳）: 決定木のブーストおよび微分的プライベートアンサンブル
• Authors: Richard Nock and Wilko Henecka
• Abstract要約: 決定木分類器(DT)は国際大会で非常に人気がある。 適切な損失に対して、損失の増大率によって感度が上昇する傾向が示される。 本稿では,DT誘導時のトレードオフを適応的に調整する手法として,テクスタイト・オブジェクティブ・キャリブレーションを導入する。 19のUCI領域の実験では、DPフリー環境でも客観的な校正は極めて競争力が高いことが示されている。
• 参考スコア（独自算出の注目度）: 26.35930599032748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Boosted ensemble of decision tree (DT) classifiers are extremely popular in international competitions, yet to our knowledge nothing is formally known on how to make them \textit{also} differential private (DP), up to the point that random forests currently reign supreme in the DP stage. Our paper starts with the proof that the privacy vs boosting picture for DT involves a notable and general technical tradeoff: the sensitivity tends to increase with the boosting rate of the loss, for any proper loss. DT induction algorithms being fundamentally iterative, our finding implies non-trivial choices to select or tune the loss to balance noise against utility to split nodes. To address this, we craft a new parametererized proper loss, called the M$\alpha$-loss, which, as we show, allows to finely tune the tradeoff in the complete spectrum of sensitivity vs boosting guarantees. We then introduce \textit{objective calibration} as a method to adaptively tune the tradeoff during DT induction to limit the privacy budget spent while formally being able to keep boosting-compliant convergence on limited-depth nodes with high probability. Extensive experiments on 19 UCI domains reveal that objective calibration is highly competitive, even in the DP-free setting. Our approach tends to very significantly beat random forests, in particular on high DP regimes ($\varepsilon \leq 0.1$) and even with boosted ensembles containing ten times less trees, which could be crucial to keep a key feature of DT models under differential privacy: interpretability.
• Abstract（参考訳）: 決定木分類法(DT)は国際競争で非常に人気があるが、我々の知る限り、現在無作為林がDPの段階で優位に立つまで、これらの分類法を「textit{ also} differential private(DP)」にする方法については、公式には知られていない。 当社の論文は、DTのプライバシ対ブースト・ピクチャー・ピクチャーズ・ピクチャーズが顕著かつ一般的な技術的トレードオフを伴っているという証明から始まります。 DT誘導アルゴリズムは基本的に反復的であり、分割ノードに対する実用性に対するノイズのバランスをとるために損失を選択または調整する非自明な選択を意味する。 これに対処するために、我々は、m$\alpha$-lossと呼ばれる新しいパラメータ化された適切な損失を作成します。 次に、DT誘導時のトレードオフを適応的に調整し、使用したプライバシー予算を抑えつつ、高い確率で制限深度ノードの収束を促進できる方法として、textit{objective calibration}を導入する。 19のuciドメインに関する広範囲な実験により、dpフリー設定でも客観的なキャリブレーションは高い競合性を示す。 私たちのアプローチは、ランダムな森林、特に高いdpレジーム(英語版)(\varepsilon \leq 0.1$)、ブースターされたアンサンブル(英語版)でさえも、10倍の樹木を含むランダムな森林を大きく上回る傾向にあります。

関連論文リスト

• TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data [50.797729676285876]
  本稿では, 3次圧縮機と多数決機構を組み合わせて, 差分プライバシー, 勾配圧縮, ビザンチンレジリエンスを同時に実現するternaryVoteを提案する。 提案アルゴリズムのF差分プライバシー(DP)とビザンチンレジリエンスのレンズによるプライバシー保証を理論的に定量化する。
  論文  参考訳（メタデータ） (2024-02-16T16:41:14Z)
• Privacy Constrained Fairness Estimation for Decision Trees [2.9906966931843093]
  任意のAIモデルの公平さを測定するには、データセット内の個人の敏感な属性が必要である。 プライバシ・アウェア・フェアネス・オブ・ルール(PAFER)と呼ばれる新しい手法を提案する。 提案手法は,ラプラシアン機構を用いて,データセット内の個人のプライバシーを高い確度で保証しつつ,低い誤差でSPを推定できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T14:54:48Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Private Online Prediction from Experts: Separations and Faster Rates [74.52487417350221]
  専門家によるオンライン予測は機械学習の基本的な問題であり、いくつかの研究がプライバシーの制約の下でこの問題を研究している。 本研究では,非適応的敵に対する最良な既存アルゴリズムの残差を克服する新たなアルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2022-10-24T18:40:19Z)
• TAN Without a Burn: Scaling Laws of DP-SGD [70.7364032297978]
  近年、ディープニューラルネットワーク(DNN)を訓練するための微分プライベートな手法が進歩している。 プライバシ分析とノイズのあるトレーニングの実験的振る舞いを分離し、最小限の計算要件でトレードオフを探索する。 我々は,提案手法をCIFAR-10とImageNetに適用し,特にImageNetの最先端性を,上位1点の精度で向上させる。
  論文  参考訳（メタデータ） (2022-10-07T08:44:35Z)
• Federated Boosted Decision Trees with Differential Privacy [24.66980518231163]
  本稿では,従来の決定木に対するアプローチをキャプチャし,拡張する汎用フレームワークを提案する。 高いレベルのプライバシを維持しながら、極めて高いユーティリティを実現することが可能であることを、慎重に選択することで示しています。
  論文  参考訳（メタデータ） (2022-10-06T13:28:29Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Improving Differentially Private SGD via Randomly Sparsified Gradients [31.295035726077366]
  ディファレンシャル・プライベート・グラデーション・オブザーバ(DP-SGD)は、厳密に定義されたプライバシー境界圧縮を提供するため、ディープラーニングにおいて広く採用されている。 本稿では,通信コストを向上し,プライバシ境界圧縮を強化するためのRSを提案する。
  論文  参考訳（メタデータ） (2021-12-01T21:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。