論文の概要: Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2402.13531v1
• Date: Wed, 21 Feb 2024 04:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 16:56:13.632912
• Title: Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation
• Title（参考訳）: 線形回帰のためのプライベートグレーディエントDescence:タイターエラー境界とインスタンス特異不確かさ推定
• Authors: Gavin Brown, Krishnamurthy Dvijotham, Georgina Evans, Daogao Liu, Adam Smith, Abhradeep Thakurta
• Abstract要約: 正方形誤差損失下での線形回帰に対する標準偏差偏差勾配勾配の解析を改良した。 我々の分析はアルゴリズムの精度に新たな結果をもたらす。
• 参考スコア（独自算出の注目度）: 17.84129947587373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide an improved analysis of standard differentially private gradient descent for linear regression under the squared error loss. Under modest assumptions on the input, we characterize the distribution of the iterate at each time step. Our analysis leads to new results on the algorithm's accuracy: for a proper fixed choice of hyperparameters, the sample complexity depends only linearly on the dimension of the data. This matches the dimension-dependence of the (non-private) ordinary least squares estimator as well as that of recent private algorithms that rely on sophisticated adaptive gradient-clipping schemes (Varshney et al., 2022; Liu et al., 2023). Our analysis of the iterates' distribution also allows us to construct confidence intervals for the empirical optimizer which adapt automatically to the variance of the algorithm on a particular data set. We validate our theorems through experiments on synthetic data.
• Abstract（参考訳）: 2乗誤差損失下での線形回帰に対する標準微分プライベート勾配降下のより良い解析を提供する。 入力に対する控えめな仮定の下では、各時間ステップにおける反復の分布を特徴付ける。 我々の分析はアルゴリズムの精度に新たな結果をもたらす: 適切なパラメータの固定選択の場合、サンプルの複雑さはデータの次元にのみ線形に依存する。 これは(非私的)通常の最小二乗推定器の次元依存性と、洗練された適応勾配クリッピングスキーム(Varshney et al., 2022; Liu et al., 2023)に依存する最近のプライベートアルゴリズムの次元依存性と一致する。 また、反復分布の解析により、特定のデータセット上のアルゴリズムの分散に自動的に適応する経験的最適化器の信頼区間を構築することができる。 我々は合成データの実験を通して定理を検証する。

関連論文リスト

• Regression under demographic parity constraints via unlabeled post-processing [5.762345156477737]
  本稿では,人口統計値に合致する予測を生成する汎用ポストプロセッシングアルゴリズムを提案する。 我々は凸関数の勾配ノルムを正確に制御する必要がある。 提案アルゴリズムは有限サンプル解析と後処理バウンダリによって裏付けられ, 実験結果から理論的知見が得られた。
  論文  参考訳（メタデータ） (2024-07-22T08:11:58Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Improved Differentially Private Regression via Gradient Boosting [38.09948758699131]
  勾配向上に基づく線形回帰法を新たに提案する。 包括的な実験に加えて、この振る舞いを説明する理論的洞察を与える。
  論文  参考訳（メタデータ） (2023-03-06T19:20:52Z)
• Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression [35.78863301525758]
  我々は「最適化率」として知られる一様収束の局所的概念を研究する。 改良された解析は既存の結果の隠れ定数と対数係数を回避している。
  論文  参考訳（メタデータ） (2021-12-08T18:55:00Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。