論文の概要: The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax
Lower Bounds
- arxiv url: http://arxiv.org/abs/2011.03900v2
- Date: Sun, 6 Dec 2020 00:30:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 08:17:53.725735
- Title: The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax
Lower Bounds
- Title(参考訳): 一般化線形モデルにおけるプライバシのコスト:アルゴリズムとミニマックス下界
- Authors: T. Tony Cai, Yichen Wang, Linjun Zhang
- Abstract要約: 提案アルゴリズムは,その統計的性能を特徴付けることにより,ほぼ最適であることを示す。
下位境界は、SteinのLemmaをベースとした新しい手法を用いて取得され、プライバシーに制約された下位境界に対するトレース攻撃手法を一般化する。
- 参考スコア(独自算出の注目度): 8.760651633031342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose differentially private algorithms for parameter estimation in both
low-dimensional and high-dimensional sparse generalized linear models (GLMs) by
constructing private versions of projected gradient descent. We show that the
proposed algorithms are nearly rate-optimal by characterizing their statistical
performance and establishing privacy-constrained minimax lower bounds for GLMs.
The lower bounds are obtained via a novel technique, which is based on Stein's
Lemma and generalizes the tracing attack technique for privacy-constrained
lower bounds. This lower bound argument can be of independent interest as it is
applicable to general parametric models. Simulated and real data experiments
are conducted to demonstrate the numerical performance of our algorithms.
- Abstract(参考訳): 低次元および高次元のスパース一般化線形モデル(GLM)におけるパラメータ推定のための微分プライベートアルゴリズムを提案する。
提案手法は,その統計性能を特徴付け,glmのプライバシー制約付きミニマックス下限を確立することで,ほぼレート最適であることを示す。
下限は、steinの補題に基づいて、プライバシ制約下限に対するトレース攻撃技術を一般化した、新しいテクニックによって得られる。
この下界の議論は一般パラメトリックモデルに適用できるため、独立した関心を持つことができる。
シミュレーションおよび実データ実験を行い,アルゴリズムの数値性能を実証した。
関連論文リスト
- Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳(メタデータ) (2024-02-26T05:51:47Z) - Differentially Private Sliced Inverse Regression: Minimax Optimality and
Algorithm [16.14032140601778]
十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。
我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。
自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
論文 参考訳(メタデータ) (2024-01-16T06:47:43Z) - Differentially Private Gradient Flow based on the Sliced Wasserstein
Distance for Non-Parametric Generative Modeling [61.65137699747604]
確率測度空間におけるパラメータフリー勾配流に基づく、新しい微分プライベートな生成モデリング手法を提案する。
提案手法は,ジェネレータベースモデルと比較して,低プライバシー予算で高忠実度データを生成可能であることを示す。
論文 参考訳(メタデータ) (2023-12-13T15:47:30Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳(メタデータ) (2023-06-06T19:02:57Z) - Score Attack: A Lower Bound Technique for Optimal Differentially Private
Learning [8.760651633031342]
本稿では,パラメータ推定の差分プライバシに制約されたミニマックスリスクを低く抑える,スコアアタックと呼ばれる新しい手法を提案する。
様々な統計問題に対する差分プライバシーを確保しながら、未知のモデルパラメータを推定する最小限のリスクを対数係数まで最適に下げることができる。
論文 参考訳(メタデータ) (2023-03-13T14:26:27Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - Data-Driven Minimax Optimization with Expectation Constraints [9.373649142701803]
本稿では,最小値予測制約問題に対処するために,効率的な原始双対アルゴリズムのクラスを提案する。
我々のアルゴリズムは$mathcalO(frac1sqrtN)$の最適速度で収束することを示す。
論文 参考訳(メタデータ) (2022-02-16T05:23:27Z) - Spike-and-Slab Generalized Additive Models and Scalable Algorithms for
High-Dimensional Data [0.0]
本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。
曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。
2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
論文 参考訳(メタデータ) (2021-10-27T14:11:13Z) - High-Dimensional Differentially-Private EM Algorithm: Methods and
Near-Optimal Statistical Guarantees [8.089708900273804]
高次元潜在変数モデルにおける差分プライベート期待最大化(EM)アルゴリズムを設計するための一般的なフレームワークを開発している。
各モデルにおいて、差分プライバシー制約による収束のほぼ最適度を確立する。
この設定では、差分プライバシーを保証する近レート最適EMアルゴリズムを提案します。
論文 参考訳(メタデータ) (2021-04-01T04:08:34Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z) - Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。
我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。
得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文 参考訳(メタデータ) (2020-02-21T17:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。