論文の概要: Differentially Private Sparse Linear Regression with Heavy-tailed Responses

• arxiv url: http://arxiv.org/abs/2506.06861v1
• Date: Sat, 07 Jun 2025 16:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.533642
• Title: Differentially Private Sparse Linear Regression with Heavy-tailed Responses
• Title（参考訳）: 重み付き反応を呈する個人性スパース線形回帰
• Authors: Xizhi Tian, Meng Ding, Touming Tao, Zihang Xiang, Di Wang,
• Abstract要約: 本稿では,高次元条件下での重み付き応答を用いたDPスパース線形回帰の包括的研究を行う。 DP-IHT-H法は,ハマー損失とプライベート反復硬度閾値を利用して (tildeObiggl( s* frac12) cdot biggl(fraclog dnbiggr)fraczeta1 + zeta1 + zeta2 + 2zetaの誤差境界を求める。
• 参考スコア（独自算出の注目度）: 5.228567425731136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a fundamental problem in machine learning and differential privacy (DP), DP linear regression has been extensively studied. However, most existing methods focus primarily on either regular data distributions or low-dimensional cases with irregular data. To address these limitations, this paper provides a comprehensive study of DP sparse linear regression with heavy-tailed responses in high-dimensional settings. In the first part, we introduce the DP-IHT-H method, which leverages the Huber loss and private iterative hard thresholding to achieve an estimation error bound of \( \tilde{O}\biggl( s^{* \frac{1 }{2}} \cdot \biggl(\frac{\log d}{n}\biggr)^{\frac{\zeta}{1 + \zeta}} + s^{* \frac{1 + 2\zeta}{2 + 2\zeta}} \cdot \biggl(\frac{\log^2 d}{n \varepsilon}\biggr)^{\frac{\zeta}{1 + \zeta}} \biggr) \) under the $(\varepsilon, \delta)$-DP model, where $n$ is the sample size, $d$ is the dimensionality, $s^*$ is the sparsity of the parameter, and $\zeta \in (0, 1]$ characterizes the tail heaviness of the data. In the second part, we propose DP-IHT-L, which further improves the error bound under additional assumptions on the response and achieves \( \tilde{O}\Bigl(\frac{(s^*)^{3/2} \log d}{n \varepsilon}\Bigr). \) Compared to the first result, this bound is independent of the tail parameter $\zeta$. Finally, through experiments on synthetic and real-world datasets, we demonstrate that our methods outperform standard DP algorithms designed for ``regular'' data.
• Abstract（参考訳）: 機械学習と差分プライバシー(DP)の基本的な問題として、DP線形回帰が広く研究されている。 しかし、既存のほとんどの手法は、主に正規データ分布または不規則データを持つ低次元ケースに焦点を当てている。 これらの制約に対処するため,高次元条件下での重み付き応答を伴うDPスパース線形回帰について包括的に検討した。 第一部では, DP-IHT-H法を導入し, \(\tilde{O}\biggl( s^{* \frac{1 }{2}} \cdot \biggl(\frac {\log d}{n}\biggr)^{\frac {\zeta}{1 + \zeta}} + s^{* \frac{1 + 2\zeta}{2 + 2\zeta}} \cdot \biggl(\frac {\log^2 d}{n \varepsilon}\biggr)^{\frac {\zeta}{1 + \zeta}} \biggr)={\frac {\zeta}{1, $delta-DP モデルが$$$1, $n, $1, $1, $1, $1, $1, $1, $1, $1, $1, $1, $1, $1, $1, $1, $2, $2, $2, $2, $2, $2, $2, $1, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $2, $, $, $2, $2, $, $), の値), のパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータのパラメータである。 第2部では, DP-IHT-Lを提案し, 応答に対する追加仮定の下での誤差境界をさらに改善し, \( \tilde{O}\Bigl(\frac{(s^*)^{3/2} \log d}{n \varepsilon}\Bigr) を達成する。 \) 最初の結果と比較すると、この境界はテールパラメータ$\zeta$とは独立である。 最後に、合成および実世界のデータセットの実験を通して、我々の手法が ``regular'' データのために設計された標準DPアルゴリズムより優れていることを示す。

関連論文リスト

• Nearly Optimal Differentially Private ReLU Regression [18.599299269974498]
  微分プライバシ(DP)モデルにおいて、最も基本的な非学習問題の1つ、ReLU回帰について検討する。 TildeO(fracd2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2 varepsilon2N2
  論文  参考訳（メタデータ） (2025-03-08T02:09:47Z)
• Heavy-Tailed Linear Bandits: Huber Regression with One-Pass Update [62.96781471194877]
  ヘビーテール付きバンディットには、ヘビーテール付きノイズ、トランケーション、中央値の2つの基本戦略が導入されている。 本稿では,オンラインミラー降下フレームワークに基づくEmphone-passアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T09:41:45Z)
• Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations [51.14495595270775]
  我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。 この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T19:52:43Z)
• Improved Analysis of Sparse Linear Regression in Local Differential Privacy Model [38.66115499136791]
  局所微分プライバシー(LDP)モデルにおける疎線形回帰の問題を再考する。 そこで本研究では,この問題の第一種である革新的NLDPアルゴリズムを提案する。 その結果, 疎線形回帰問題における非私的ケース, 中央DPモデル, 局所DPモデルとの基本的差異が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-11T10:34:52Z)
• Efficient Sampling of Stochastic Differential Equations with Positive Semi-Definite Models [91.22420505636006]
  本稿では, ドリフト関数と拡散行列を考慮し, 微分方程式からの効率的なサンプリング問題を扱う。 1/varepsilonは$m2d log (1/varepsilon)$である。 以上の結果から,真の解がより滑らかになるにつれて,どのような凸性も必要とせず,次元の呪いを回避できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T02:50:49Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
  固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。 本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-07-11T08:04:46Z)
• Settling the Sample Complexity of Model-Based Offline Reinforcement Learning [50.5790774201146]
  オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。 事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。 モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
  論文  参考訳（メタデータ） (2022-04-11T17:26:19Z)
• High Dimensional Differentially Private Stochastic Optimization with Heavy-tailed Data [8.55881355051688]
  本研究では,高次元空間における重み付きデータを用いたDP-SCOの問題に関する最初の研究を行う。 損失関数が滑らかで、その勾配が第二次モーメントに有界ならば、$epsilon$-DPモデルで$tildeO(fraclog d(nepsilon)frac13)$の(高い確率)誤差境界(過剰な集団リスク)を得ることが可能である。 論文の第2部では,重み付きデータを用いたスパース学習について検討した。
  論文  参考訳（メタデータ） (2021-07-23T11:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。