Fugu-MT 論文翻訳(概要): Differentially Private Optimization for Smooth Nonconvex ERM

論文の概要: Differentially Private Optimization for Smooth Nonconvex ERM

arxiv url: http://arxiv.org/abs/2302.04972v1
Date: Thu, 9 Feb 2023 23:22:48 GMT
ステータス: 処理完了
システム内更新日: 2023-02-13 17:07:08.620413
Title: Differentially Private Optimization for Smooth Nonconvex ERM
Title（参考訳）: Smooth Nonconvex ERMの微分プライベート最適化
Authors: Changyu Gao and Stephen J. Wright
Abstract要約: 我々は、方向(予測)降下を移動させ、非ERM解に対して近似した2階探索解を求める、単純な微分プライベート最適化アルゴリズムを開発した。
参考スコア（独自算出の注目度）: 12.576828231302134
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We develop simple differentially private optimization algorithms that move along directions of (expected) descent to find an approximate second-order solution for nonconvex ERM. We use line search, mini-batching, and a two-phase strategy to improve the speed and practicality of the algorithm. Numerical experiments demonstrate the effectiveness of these approaches.
Abstract（参考訳）: 非凸ERMの近似二階解を求めるために、(予測)降下方向に沿って移動する単純な微分プライベート最適化アルゴリズムを開発した。このアルゴリズムの速度と実用性を改善するために,線探索,ミニバッチ,二相戦略を用いる。数値実験はこれらの手法の有効性を示す。

関連論文リスト

Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文参考訳（メタデータ） (2024-11-07T17:05:31Z)
An accelerate Prediction Strategy for Dynamic Multi-Objective Optimization [7.272641346606365]
本稿では,進化的アルゴリズムフレームワークにおける予測戦略の高速化のための新しいアプローチを提案する。本稿では,アルゴリズムの探索動作を予測・調整するために,二階微分を組み込んだ適応予測戦略を提案する。標準DMOPのベンチマーク問題を用いて,提案手法の性能を4つの最先端アルゴリズムと比較した。
論文参考訳（メタデータ） (2024-10-08T08:13:49Z)
Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文参考訳（メタデータ） (2023-02-01T08:50:48Z)
Bring Your Own Algorithm for Optimal Differentially Private Stochastic Minimax Optimization [44.52870407321633]
これらの設定の聖杯は、プライバシーと過剰な人口減少の間の最適なトレードオフを保証することです。微分プライベート・ミニマックス最適化(DP-SMO)問題を解くための一般的なフレームワークを提供する。我々のフレームワークは、非滑らかな微分プライベート凸最適化(DP-SCO)のための最近提案されたフェイズド・ERM法[20]から着想を得たものである。
論文参考訳（メタデータ） (2022-06-01T10:03:20Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Optimizing Optimizers: Regret-optimal gradient descent algorithms [9.89901717499058]
我々は,後悔最適アルゴリズムの存在,一意性,一貫性について検討する。制御問題に対する一階最適条件を提供することにより、後悔最適アルゴリズムはそれらの力学において特定の構造を満たす必要があることを示す。それらを近似する高速な数値法を提案し,長期的後悔を直接最適化する最適化アルゴリズムを生成する。
論文参考訳（メタデータ） (2020-12-31T19:13:53Z)
Distributed Proximal Splitting Algorithms with Rates and Acceleration [7.691755449724637]
解に対する関数値の最適値または距離の新しいレートで、線形および線形収束結果を導出する。本稿では,これらのアルゴリズムの分散変種を提案する。
論文参考訳（メタデータ） (2020-10-02T12:35:09Z)
Differentially Private Accelerated Optimization Algorithms [0.7874708385247353]
微分プライベート最適化アルゴリズムの2つのクラスを示す。最初のアルゴリズムはPolyakのヘビーボール法にインスパイアされている。アルゴリズムの第2のクラスは、ネステロフの加速勾配法に基づいている。
論文参考訳（メタデータ） (2020-08-05T08:23:01Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
論文参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。