論文の概要: Linear-Time User-Level DP-SCO via Robust Statistics

• arxiv url: http://arxiv.org/abs/2502.08889v1
• Date: Thu, 13 Feb 2025 02:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:40.912219
• Title: Linear-Time User-Level DP-SCO via Robust Statistics
• Title（参考訳）: ロバスト統計を用いた線形時間ユーザレベルDP-SCO
• Authors: Badih Ghazi, Ravi Kumar, Daogao Liu, Pasin Manurangsi,
• Abstract要約: ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
• 参考スコア（独自算出の注目度）: 55.350093142673316
• License:
• Abstract: User-level differentially private stochastic convex optimization (DP-SCO) has garnered significant attention due to the paramount importance of safeguarding user privacy in modern large-scale machine learning applications. Current methods, such as those based on differentially private stochastic gradient descent (DP-SGD), often struggle with high noise accumulation and suboptimal utility due to the need to privatize every intermediate iterate. In this work, we introduce a novel linear-time algorithm that leverages robust statistics, specifically the median and trimmed mean, to overcome these challenges. Our approach uniquely bounds the sensitivity of all intermediate iterates of SGD with gradient estimation based on robust statistics, thereby significantly reducing the gradient estimation noise for privacy purposes and enhancing the privacy-utility trade-off. By sidestepping the repeated privatization required by previous methods, our algorithm not only achieves an improved theoretical privacy-utility trade-off but also maintains computational efficiency. We complement our algorithm with an information-theoretic lower bound, showing that our upper bound is optimal up to logarithmic factors and the dependence on $\epsilon$. This work sets the stage for more robust and efficient privacy-preserving techniques in machine learning, with implications for future research and application in the field.
• Abstract（参考訳）: ユーザレベルの微分プライベートな確率凸最適化(DP-SCO)は、現代の大規模機械学習アプリケーションにおいて、ユーザのプライバシを保護することが最重要視されているため、大きな注目を集めている。 微分プライベート確率勾配勾配(DP-SGD)に基づくような現在の手法は、全ての中間的イテレートを民営化する必要があるため、高雑音蓄積と準最適利用に苦慮することが多い。 本研究では、これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。 本手法は,SGDのすべての中間イテレーションの感度を,頑健な統計に基づく勾配推定に一意に拘束し,プライバシー目的の勾配推定ノイズを著しく低減し,プライバシー利用トレードオフを高める。 従来の手法による繰り返しの民営化をサイドステッピングすることで、我々のアルゴリズムは理論上のプライバシ・ユーティリティのトレードオフを改善できるだけでなく、計算効率も維持できる。 我々は,このアルゴリズムを情報理論的下界で補完し,上界が対数的因子に最適であること,および$\epsilon$への依存性を示す。 この研究は、機械学習におけるより堅牢で効率的なプライバシ保護技術のステージを定め、この分野における将来の研究と応用に影響を及ぼす。

関連論文リスト

• Differentially Private Sliced Inverse Regression: Minimax Optimality and Algorithm [16.14032140601778]
  十分な次元削減の文脈において、プライバシー問題に対処するために設計された最適微分プライベートアルゴリズムを提案する。 我々は、対数係数まで最小限の下位境界を達成できる微分プライベートアルゴリズムを開発した。 自然な拡張として、微分プライベートスパース主成分分析に類似した下界と上界を容易に提供できる。
  論文  参考訳（メタデータ） (2024-01-16T06:47:43Z)
• DP-SGD with weight clipping [0.9208007322096533]
  従来の勾配クリッピングから生じるバイアスを緩和する新しい手法を提案する。 探索領域内における現在のモデルのリプシッツ値の公開上界と現在の位置を有効利用することにより、改良されたノイズレベル調整を実現することができる。
  論文  参考訳（メタデータ） (2023-10-27T09:17:15Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
  現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。 本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
  論文  参考訳（メタデータ） (2022-09-09T08:54:13Z)
• Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning [72.97229770329214]
  本稿では,学習時の安全性維持が不可欠である高次元非線形最適化問題に対する一般的なアプローチを提案する。 LBSGDと呼ばれるアプローチは、慎重に選択されたステップサイズで対数障壁近似を適用することに基づいている。 安全強化学習における政策課題の違反を最小限に抑えるためのアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-21T11:14:47Z)
• Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization [44.52870407321633]
  これらの設定の聖杯は、プライバシーと過剰な人口減少の間の最適なトレードオフを保証することです。 微分プライベート・ミニマックス最適化(DP-SMO)問題を解くための一般的なフレームワークを提供する。 我々のフレームワークは、非滑らかな微分プライベート凸最適化(DP-SCO)のための最近提案されたフェイズド・ERM法[20]から着想を得たものである。
  論文  参考訳（メタデータ） (2022-06-01T10:03:20Z)
• Decentralized Stochastic Optimization with Inherent Privacy Protection [103.62463469366557]
  分散最適化は、現代の協調機械学習、分散推定と制御、大規模センシングの基本的な構成要素である。 データが関与して以降、分散最適化アルゴリズムの実装において、プライバシ保護がますます重要になっている。
  論文  参考訳（メタデータ） (2022-05-08T14:38:23Z)
• Differentially Private Temporal Difference Learning with Stochastic Nonconvex-Strongly-Concave Optimization [17.361143427007224]
  時間差(TD)学習は、強化学習における政策を評価するために広く用いられている手法である。 本稿では,非線形値関数を用いたTD学習におけるプライバシ保護について考察する。 DPTDは、トランジションに符号化された機密情報に対して$epsilon,n-differential privacy (DP) を保証し、TD学習の本来のパワーを維持できることを示す。
  論文  参考訳（メタデータ） (2022-01-25T16:48:29Z)
• An automatic differentiation system for the age of differential privacy [65.35244647521989]
  Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである 我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
  論文  参考訳（メタデータ） (2021-09-22T08:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。