論文の概要: On the Benefits of Accelerated Optimization in Robust and Private Estimation

• arxiv url: http://arxiv.org/abs/2506.03044v1
• Date: Tue, 03 Jun 2025 16:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.444629
• Title: On the Benefits of Accelerated Optimization in Robust and Private Estimation
• Title（参考訳）: ロバスト・プライベート推定における高速化最適化の利点について
• Authors: Laurentiu Andrei Marchis, Po-Ling Loh,
• Abstract要約: 本研究では,Frank-Wolfe法と投射降下法に基づく加速勾配法の利点について検討する。 Frank-Wolfe法では,制約集合上の$ell$-normの勾配に調整された反復学習率と一様下界をベースとした手法を提案する。 射影降下を加速するために、ネステロフの運動量に基づく一般的な変種を用いる。
• 参考スコア（独自算出の注目度）: 2.209921757303168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the advantages of accelerated gradient methods, specifically based on the Frank-Wolfe method and projected gradient descent, for privacy and heavy-tailed robustness. Our approaches are as follows: For the Frank-Wolfe method, our technique is based on a tailored learning rate and a uniform lower bound on the gradient of the $\ell_2$-norm over the constraint set. For accelerating projected gradient descent, we use the popular variant based on Nesterov's momentum, and we optimize our objective over $\mathbb{R}^p$. These accelerations reduce iteration complexity, translating into stronger statistical guarantees for empirical and population risk minimization. Our analysis covers three settings: non-random data, random model-free data, and parametric models (linear regression and generalized linear models). Methodologically, we approach both privacy and robustness based on noisy gradients. We ensure differential privacy via the Gaussian mechanism and advanced composition, and we achieve heavy-tailed robustness using a geometric median-of-means estimator, which also sharpens the dependency on the dimension of the covariates. Finally, we compare our rates to existing bounds and identify scenarios where our methods attain optimal convergence.
• Abstract（参考訳）: 本研究は,Frank-Wolfe法と予測勾配降下法に基づく高速化勾配法の利点を,プライバシーと重み付き頑健性のために検討した。 Frank-Wolfe法では,制約集合上の$\ell_2$-normの勾配に調整された学習率と一様下界をベースとした手法が提案されている。 射影勾配降下を加速するために、ネステロフの運動量に基づく一般的な変分を使い、$\mathbb{R}^p$ よりも目的を最適化する。 これらの加速はイテレーションの複雑さを減らし、経験的および人口リスク最小化のためのより強力な統計的保証に変換する。 本分析では,非ランダムデータ,ランダムモデルフリーデータ,パラメトリックモデル(線形回帰モデルと一般化線形モデル)の3つの設定について検討した。 方法論的には,ノイズ勾配に基づくプライバシーとロバスト性の両方にアプローチする。 我々はガウスのメカニズムと高度な構成を通して差分プライバシーを保証し、幾何的中央値推定器を用いて重み付きロバスト性を達成する。 最後に、我々のレートを既存の境界と比較し、メソッドが最適収束に達するシナリオを特定する。

関連論文リスト

• Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
  本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。 本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
  論文  参考訳（メタデータ） (2025-06-02T17:34:29Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization [29.24821214671497]
  機械学習と統計モデルのトレーニングは、しばしばデータ駆動型リスク基準の最適化を伴う。 ベイズ的非パラメトリック(ディリクレ過程)理論と、スムーズなあいまいさ-逆選好の最近の決定論的モデルを組み合わせた、新しいロバストな基準を提案する。 実用的な実装として、よく知られたディリクレプロセスの表現に基づいて、評価基準の抽出可能な近似を提案し、研究する。
  論文  参考訳（メタデータ） (2024-01-28T21:19:15Z)
• Information-Theoretic Trust Regions for Stochastic Gradient-Based Optimization [17.79206971486723]
  arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。 我々は、勾配からヘッセンの対角要素を近似し、1次情報のみを用いて予測されたヘッセンのモデルを構築する。 arTuROは適応モーメントベース最適化の高速収束とSGDの機能を組み合わせたものであることを示す。
  論文  参考訳（メタデータ） (2023-10-31T16:08:38Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Improved Differentially Private Regression via Gradient Boosting [38.09948758699131]
  勾配向上に基づく線形回帰法を新たに提案する。 包括的な実験に加えて、この振る舞いを説明する理論的洞察を与える。
  論文  参考訳（メタデータ） (2023-03-06T19:20:52Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。