論文の概要: Non-Asymptotic Analysis of Online Local Private Learning with SGD

• arxiv url: http://arxiv.org/abs/2507.07041v1
• Date: Wed, 09 Jul 2025 17:06:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.69417
• Title: Non-Asymptotic Analysis of Online Local Private Learning with SGD
• Title（参考訳）: SGDを用いたオンラインローカル・プライベート・ラーニングの非漸近解析
• Authors: Enze Shi, Jinhan Xie, Bei Jiang, Linglong Kong, Xuming He,
• Abstract要約: Differentially Private Gradient Descent (DP-SGD)は、機械学習と統計学におけるプライバシー保証による最適化問題の解決に広く利用されている。 それにもかかわらず、DP-SGDの体系的な非漸近収束分析、特にオンライン問題やローカル差分プライバシー(LDP)モデルの文脈では、大半が解明されている。 この研究は、このギャップを埋める解析を開始し、プライベート最適化問題の漸近的収束解析への扉を開く。
• 参考スコア（独自算出の注目度）: 17.5801604365356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) has been widely used for solving optimization problems with privacy guarantees in machine learning and statistics. Despite this, a systematic non-asymptotic convergence analysis for DP-SGD, particularly in the context of online problems and local differential privacy (LDP) models, remains largely elusive. Existing non-asymptotic analyses have focused on non-private optimization methods, and hence are not applicable to privacy-preserving optimization problems. This work initiates the analysis to bridge this gap and opens the door to non-asymptotic convergence analysis of private optimization problems. A general framework is investigated for the online LDP model in stochastic optimization problems. We assume that sensitive information from individuals is collected sequentially and aim to estimate, in real-time, a static parameter that pertains to the population of interest. Most importantly, we conduct a comprehensive non-asymptotic convergence analysis of the proposed estimators in finite-sample situations, which gives their users practical guidelines regarding the effect of various hyperparameters, such as step size, parameter dimensions, and privacy budgets, on convergence rates. Our proposed estimators are validated in the theoretical and practical realms by rigorous mathematical derivations and carefully constructed numerical experiments.
• Abstract（参考訳）: Differentially Private Stochastic Gradient Descent (DP-SGD)は、機械学習と統計学におけるプライバシー保証による最適化問題の解決に広く利用されている。 それにもかかわらず、DP-SGDの体系的な非漸近収束分析、特にオンライン問題やローカル差分プライバシー(LDP)モデルの文脈では、大半が解明されている。 既存の非漸近解析は、非私的最適化手法に焦点を合わせており、したがってプライバシー保護最適化問題には適用できない。 この研究は、このギャップを埋める解析を開始し、プライベート最適化問題の漸近的収束解析への扉を開く。 確率最適化問題におけるオンライン LDP モデルに対する一般フレームワークの検討を行った。 我々は,個人からのセンシティブな情報を逐次収集し,関心の人口に関連する静的パラメータをリアルタイムで推定することを目的としている。 最も重要なことは、有限サンプル状況において提案した推定器を包括的に非漸近収束解析することにより、ステップサイズ、パラメータ次元、プライバシ予算といった様々なハイパーパラメータが収束率に与える影響に関する実践的なガイドラインをユーザに提供することである。 提案手法は,厳密な数学的導出と慎重に構築された数値実験により理論的および実践的な領域で検証される。

関連論文リスト

• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• Integrated Conditional Estimation-Optimization [6.037383467521294]
  確率のある不確実なパラメータを文脈的特徴情報を用いて推定できる実世界の多くの最適化問題である。 不確実なパラメータの分布を推定する標準的な手法とは対照的に,統合された条件推定手法を提案する。 当社のI CEOアプローチは、穏健な条件下で理論的に一貫性があることを示します。
  論文  参考訳（メタデータ） (2021-10-24T04:49:35Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。