論文の概要: Improved Differentially Private Regression via Gradient Boosting

• arxiv url: http://arxiv.org/abs/2303.03451v1
• Date: Mon, 6 Mar 2023 19:20:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-08 17:29:28.332927
• Title: Improved Differentially Private Regression via Gradient Boosting
• Title（参考訳）: 勾配ブースティングによる微分プライベート回帰の改善
• Authors: Shuai Tang, Sergul Aydore, Michael Kearns, Saeyoung Rho, Aaron Roth, Yichen Wang, Yu-Xiang Wang, Zhiwei Steven Wu
• Abstract要約: 勾配向上に基づく線形回帰法を新たに提案する。 包括的な実験に加えて、この振る舞いを説明する理論的洞察を与える。
• 参考スコア（独自算出の注目度）: 38.09948758699131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We revisit the problem of differentially private squared error linear regression. We observe that existing state-of-the-art methods are sensitive to the choice of hyper-parameters -- including the ``clipping threshold'' that cannot be set optimally in a data-independent way. We give a new algorithm for private linear regression based on gradient boosting. We show that our method consistently improves over the previous state of the art when the clipping threshold is taken to be fixed without knowledge of the data, rather than optimized in a non-private way -- and that even when we optimize the clipping threshold non-privately, our algorithm is no worse. In addition to a comprehensive set of experiments, we give theoretical insights to explain this behavior.
• Abstract（参考訳）: 微分プライベート二乗誤差線形回帰の問題を再検討する。 既存の最先端のメソッドは、データに依存しない方法で最適に設定できない ``clipping threshold'' を含む、ハイパーパラメータの選択に敏感である。 勾配ブースティングに基づく線形回帰のための新しいアルゴリズムを提案する。 提案手法は,非プライベートな方法で最適化するのではなく,データに関する知識を使わずにクリッピングしきい値が固定された場合,従来より一貫して改良され,非プライベートにクリッピングしきい値が最適化された場合でも,アルゴリズムは悪くはないことを示す。 総合的な実験に加えて、この振る舞いを説明するための理論的洞察を与える。

関連論文リスト

• Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
  本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。 我々は凸関数の勾配ノルムを正確に制御する必要がある。 提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
  論文  参考訳（メタデータ） (2024-07-22T08:11:58Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation [17.84129947587373]
  正方形誤差損失下での線形回帰に対する標準偏差偏差勾配勾配の解析を改良した。 我々の分析はアルゴリズムの精度に新たな結果をもたらす。
  論文  参考訳（メタデータ） (2024-02-21T04:58:41Z)
• Online Sensitivity Optimization in Differentially Private Learning [8.12606646175019]
  クリッピング閾値を動的に最適化する新しい手法を提案する。 我々は、このしきい値を学習可能なパラメータとして扱い、しきい値とコスト関数のクリーンな関係を確立する。 提案手法は, 多様なデータセット, タスク, モデル次元, プライバシレベルにまたがる代替的かつ適応的な戦略に対して, 徹底的に評価される。
  論文  参考訳（メタデータ） (2023-10-02T00:30:49Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
  パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。 そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。 後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
  論文  参考訳（メタデータ） (2022-03-19T13:39:49Z)
• Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge [24.880035784304834]
  オンラインリッジ回帰とフォワードアルゴリズムに対して高い確率的後悔境界を導出する。 これにより、オンライン回帰アルゴリズムをより正確に比較し、有界な観測と予測の仮定を排除できる。
  論文  参考訳（メタデータ） (2021-11-02T13:57:53Z)
• Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
  本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-10-14T15:02:20Z)
• Causal Gradient Boosting: Boosted Instrumental Variable Regression [2.831053006774813]
  本稿では,従来の勾配押し上げアルゴリズムに基づいて内在性バイアスを補正するBoostIVというアルゴリズムを提案する。 私たちのアプローチはデータ駆動です。つまり、研究者はターゲット関数の近似や楽器の選択の形でもスタンスを作らなくてもよいのです。 boostIVは既存の方法と同等に最悪であり、平均するとそれらの方法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2021-01-15T11:54:25Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。