論文の概要: Efficient Sparse Least Absolute Deviation Regression with Differential Privacy

• arxiv url: http://arxiv.org/abs/2401.01294v1
• Date: Tue, 2 Jan 2024 17:13:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 13:26:52.477577
• Title: Efficient Sparse Least Absolute Deviation Regression with Differential Privacy
• Title（参考訳）: 差分プライバシーを持つ効率的なスパース最小絶対偏差回帰
• Authors: Weidong Liu, Xiaojun Mao, Xiaofei Zhang, Xin Zhang
• Abstract要約: 頑健な回帰問題に対する高速なプライバシー保護学習ソリューションを開発した。 本アルゴリズムは,スパースLAD問題をペナル化最小二乗推定問題として修正し,高速な推定を実現する。 我々のアルゴリズムは、最先端のプライバシ保存回帰アルゴリズムと比較して、より優れたプライバシーと統計的精度のトレードオフを実現することができることを示す。
• 参考スコア（独自算出の注目度）: 10.414082115202003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, privacy-preserving machine learning algorithms have attracted increasing attention because of their important applications in many scientific fields. However, in the literature, most privacy-preserving algorithms demand learning objectives to be strongly convex and Lipschitz smooth, which thus cannot cover a wide class of robust loss functions (e.g., quantile/least absolute loss). In this work, we aim to develop a fast privacy-preserving learning solution for a sparse robust regression problem. Our learning loss consists of a robust least absolute loss and an $\ell_1$ sparse penalty term. To fast solve the non-smooth loss under a given privacy budget, we develop a Fast Robust And Privacy-Preserving Estimation (FRAPPE) algorithm for least absolute deviation regression. Our algorithm achieves a fast estimation by reformulating the sparse LAD problem as a penalized least square estimation problem and adopts a three-stage noise injection to guarantee the $(\epsilon,\delta)$-differential privacy. We show that our algorithm can achieve better privacy and statistical accuracy trade-off compared with the state-of-the-art privacy-preserving regression algorithms. In the end, we conduct experiments to verify the efficiency of our proposed FRAPPE algorithm.
• Abstract（参考訳）: 近年、多くの科学分野における重要な応用のために、プライバシー保護機械学習アルゴリズムが注目を集めている。 しかし、文献では、ほとんどのプライバシー保護アルゴリズムは、学習対象を強い凸とリプシッツ滑らかにすることを要求するため、広範なロバストな損失関数(例えば、分位/絶対損失)をカバーすることはできない。 本研究では,頑健な回帰問題に対する高速なプライバシー保護学習ソリューションの開発を目指す。 私たちの学習損失は、ロバストな最小絶対損失と、$\ell_1$スパースペナルティ項からなる。 与えられたプライバシー予算の下での非スムース損失を高速に解くために,絶対偏差を最小に抑える高速ロバスト・プライバシ保存推定(frappe)アルゴリズムを開発した。 本アルゴリズムは,分散lad問題をペナルド最小二乗推定問題として再構成し,$(\epsilon,\delta)$-differential privacyを保証するために3段階のノイズインジェクションを採用することで,高速推定を実現する。 提案手法は,プライバシ保存型回帰アルゴリズムと比較して,プライバシと統計精度のトレードオフが向上することを示す。 最後に,提案したFRAPPEアルゴリズムの有効性を検証する実験を行った。

関連論文リスト

• Private Networked Federated Learning for Nonsmooth Objectives [7.278228169713637]
  本稿では,非平滑な目的関数を解くためのネットワーク型フェデレーション学習アルゴリズムを提案する。 参加者の秘密性を保証するため、ゼロ集中型微分プライバシー概念(zCDP)を用いる。 プライバシ保証とアルゴリズムの正確な解への収束の完全な理論的証明を提供する。
  論文  参考訳（メタデータ） (2023-06-24T16:13:28Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Safe Online Bid Optimization with Return-On-Investment and Budget Constraints subject to Uncertainty [87.81197574939355]
  最適化問題と学習問題の両方について検討する。 我々は、潜在的に線形な数の制約違反を犠牲にして、サブ線形後悔を保証するアルゴリズム、すなわちGCBを提供する。 より興味深いことに、我々はGCB_safe(psi,phi)というアルゴリズムを提供し、サブ線形擬似回帰と安全性w.h.p.の両方を、耐性 psi と phi を受け入れるコストで保証する。
  論文  参考訳（メタデータ） (2022-01-18T17:24:20Z)
• Differentially Private Federated Learning via Inexact ADMM [0.0]
  差分プライバシー(DP)技術は、データプライバシを推論攻撃から保護するために、フェデレーション付き学習モデルに適用することができる。 我々は,信頼領域のサブプロブレム列を解く乗算器アルゴリズムのDP不正確な交互方向法を開発した。 提案アルゴリズムは,既存のDPアルゴリズムと比較してテストエラーを少なくとも22%削減すると同時に,データプライバシのレベルも同等に向上する。
  論文  参考訳（メタデータ） (2021-06-11T02:28:07Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Output Perturbation for Differentially Private Convex Optimization with Improved Population Loss Bounds, Runtimes and Applications to Private Adversarial Training [12.386462516398469]
  強力な過剰なリスク境界を提供する効率的で実装が容易な差分プライベート(DP)アルゴリズムを見つけることは、現代の機械学習において重要な問題である。 我々は、滑らかさと強い凸性の存在下で、最もよく知られた$(epsilon, 0)$-DP人口損失境界と最速ランタイムを提供する。 我々はこの理論を2つの学習フレームワーク、傾きERMと逆学習フレームワークに適用する。
  論文  参考訳（メタデータ） (2021-02-09T08:47:06Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。