論文の概要: The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax Lower Bounds

• arxiv url: http://arxiv.org/abs/2011.03900v2
• Date: Sun, 6 Dec 2020 00:30:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 08:17:53.725735
• Title: The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax Lower Bounds
• Title（参考訳）: 一般化線形モデルにおけるプライバシのコスト:アルゴリズムとミニマックス下界
• Authors: T. Tony Cai, Yichen Wang, Linjun Zhang
• Abstract要約: 提案アルゴリズムは,その統計的性能を特徴付けることにより,ほぼ最適であることを示す。 下位境界は、SteinのLemmaをベースとした新しい手法を用いて取得され、プライバシーに制約された下位境界に対するトレース攻撃手法を一般化する。
• 参考スコア（独自算出の注目度）: 8.760651633031342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose differentially private algorithms for parameter estimation in both low-dimensional and high-dimensional sparse generalized linear models (GLMs) by constructing private versions of projected gradient descent. We show that the proposed algorithms are nearly rate-optimal by characterizing their statistical performance and establishing privacy-constrained minimax lower bounds for GLMs. The lower bounds are obtained via a novel technique, which is based on Stein's Lemma and generalizes the tracing attack technique for privacy-constrained lower bounds. This lower bound argument can be of independent interest as it is applicable to general parametric models. Simulated and real data experiments are conducted to demonstrate the numerical performance of our algorithms.
• Abstract（参考訳）: 低次元および高次元のスパース一般化線形モデル(GLM)におけるパラメータ推定のための微分プライベートアルゴリズムを提案する。 提案手法は,その統計性能を特徴付け,glmのプライバシー制約付きミニマックス下限を確立することで,ほぼレート最適であることを示す。 下限は、steinの補題に基づいて、プライバシ制約下限に対するトレース攻撃技術を一般化した、新しいテクニックによって得られる。 この下界の議論は一般パラメトリックモデルに適用できるため、独立した関心を持つことができる。 シミュレーションおよび実データ実験を行い,アルゴリズムの数値性能を実証した。

関連論文リスト

• Dimension reduction via score ratio matching [0.9012198585960441]
  スコアマッチングから派生したフレームワークを提案し、勾配を利用できない問題に勾配に基づく次元の減少を拡大する。 提案手法は,低次元構造を有する問題に対して,標準的なスコアマッチングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:21:03Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Score Attack: A Lower Bound Technique for Optimal Differentially Private Learning [8.760651633031342]
  本稿では,パラメータ推定の差分プライバシに制約されたミニマックスリスクを低く抑える,スコアアタックと呼ばれる新しい手法を提案する。 様々な統計問題に対する差分プライバシーを確保しながら、未知のモデルパラメータを推定する最小限のリスクを対数係数まで最適に下げることができる。
  論文  参考訳（メタデータ） (2023-03-13T14:26:27Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Data-Driven Minimax Optimization with Expectation Constraints [9.373649142701803]
  本稿では,最小値予測制約問題に対処するために,効率的な原始双対アルゴリズムのクラスを提案する。 我々のアルゴリズムは$mathcalO(frac1sqrtN)$の最適速度で収束することを示す。
  論文  参考訳（メタデータ） (2022-02-16T05:23:27Z)
• High-Dimensional Differentially-Private EM Algorithm: Methods and Near-Optimal Statistical Guarantees [8.089708900273804]
  高次元潜在変数モデルにおける差分プライベート期待最大化(EM)アルゴリズムを設計するための一般的なフレームワークを開発している。 各モデルにおいて、差分プライバシー制約による収束のほぼ最適度を確立する。 この設定では、差分プライバシーを保証する近レート最適EMアルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-04-01T04:08:34Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。