論文の概要: Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization

• arxiv url: http://arxiv.org/abs/2003.14366v1
• Date: Tue, 31 Mar 2020 16:54:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 00:47:15.142318
• Title: Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization
• Title（参考訳）: 集中型・統合型・分散型非凸最適化における2次保証
• Authors: Stefan Vlaski and Ali H. Sayed
• Abstract要約: 単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
• 参考スコア（独自算出の注目度）: 64.26238893241322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rapid advances in data collection and processing capabilities have allowed for the use of increasingly complex models that give rise to nonconvex optimization problems. These formulations, however, can be arbitrarily difficult to solve in general, in the sense that even simply verifying that a given point is a local minimum can be NP-hard [1]. Still, some relatively simple algorithms have been shown to lead to surprisingly good empirical results in many contexts of interest. Perhaps the most prominent example is the success of the backpropagation algorithm for training neural networks. Several recent works have pursued rigorous analytical justification for this phenomenon by studying the structure of the nonconvex optimization problems and establishing that simple algorithms, such as gradient descent and its variations, perform well in converging towards local minima and avoiding saddle-points. A key insight in these analyses is that gradient perturbations play a critical role in allowing local descent algorithms to efficiently distinguish desirable from undesirable stationary points and escape from the latter. In this article, we cover recent results on second-order guarantees for stochastic first-order optimization algorithms in centralized, federated, and decentralized architectures.
• Abstract（参考訳）: データ収集と処理能力の急速な進歩により、非凸最適化問題を引き起こす複雑なモデルの使用が可能になった。 しかし、与えられた点が局所極小であることを単純に検証してもnp-hard [1] であるという意味で、これらの定式化は一般に解くのが任意に難しい。 それでも、比較的単純なアルゴリズムのいくつかは、多くの興味深い文脈で驚くほど優れた経験的結果をもたらすことが示されている。 おそらく最も顕著な例は、ニューラルネットワークのトレーニングのためのバックプロパゲーションアルゴリズムの成功だろう。 いくつかの最近の研究は、非凸最適化問題の構造を研究し、勾配降下や変分のような単純なアルゴリズムが局所ミニマに向かって収束し、サドル点を避けることで、この現象の厳密な解析的正当化を追求している。 これらの分析における重要な洞察は、勾配摂動が局所降下アルゴリズムが望ましくない静止点から望ましい点を効率的に区別し、後者から逃げるのに重要な役割を果たすことである。 本稿では,集中型,連合型,分散型アーキテクチャにおける確率的一階最適化アルゴリズムの2次保証に関する最近の結果について述べる。

関連論文リスト

• Decentralized Sum-of-Nonconvex Optimization [42.04181488477227]
  我々は、平均的な非合意数である保証関数(sum-of-non function)の最適化問題を考察する。 本稿では,勾配,速度追跡,マルチコンセンサスといった手法を用いて,高速化された分散化1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:48:45Z)
• Optimizing NOTEARS Objectives via Topological Swaps [41.18829644248979]
  本稿では,候補アルゴリズムの集合に有効な手法を提案する。 内部レベルでは、対象が与えられた場合、オフ・ザ・アート制約を利用する。 提案手法は,他のアルゴリズムのスコアを大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-26T21:49:37Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Escaping Poor Local Minima in Large Scale Robust Estimation [41.304283715031204]
  ロバストなパラメータ推定のための2つの新しいアプローチを紹介します。 最初のアルゴリズムは、貧弱なミニマから逃れる強力な能力を持つ適応的なカーネルスケーリング戦略を使用します。 第2のアルゴリズムは、一般化メジャー化最小化フレームワークと半二次昇降式を組み合わせて、シンプルで効率的なソルバーを得る。
  論文  参考訳（メタデータ） (2021-02-22T11:58:29Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。