論文の概要: Why Do Local Methods Solve Nonconvex Problems?

• arxiv url: http://arxiv.org/abs/2103.13462v1
• Date: Wed, 24 Mar 2021 19:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:47:20.849194
• Title: Why Do Local Methods Solve Nonconvex Problems?
• Title（参考訳）: なぜ局所メソッドは非凸問題を解くのか?
• Authors: Tengyu Ma
• Abstract要約: 非使用最適化は、現代の機械学習においてユビキタスである。 機械学習問題の場合、厳格に定式化します。 我々はこの現象の統一的な説明を仮定する。
• 参考スコア（独自算出の注目度）: 54.284687261929115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-convex optimization is ubiquitous in modern machine learning. Researchers devise non-convex objective functions and optimize them using off-the-shelf optimizers such as stochastic gradient descent and its variants, which leverage the local geometry and update iteratively. Even though solving non-convex functions is NP-hard in the worst case, the optimization quality in practice is often not an issue -- optimizers are largely believed to find approximate global minima. Researchers hypothesize a unified explanation for this intriguing phenomenon: most of the local minima of the practically-used objectives are approximately global minima. We rigorously formalize it for concrete instances of machine learning problems.
• Abstract（参考訳）: 非凸最適化は現代の機械学習においてユビキタスである。 研究者は非凸目的関数を考案し、確率勾配降下やその変種などの既製の最適化器を用いて最適化し、局所幾何学を活用して反復的に更新する。 非凸関数の解決は最悪の場合にはnp-hardであるが、実際には最適化の品質は問題ではない。 研究者らは、この興味深い現象の統一的な説明を仮説化している。 機械学習問題の具体例を厳格に定式化する。

関連論文リスト

• Super Gradient Descent: Global Optimization requires Global Gradient [0.0]
  本稿では,閉区間上で定義される任意のk-Lipschitz関数に対して,大域最小値への収束を保証する新しい最適化手法を提案する。 従来の最適化アルゴリズムの限界に対処するアプローチは、しばしばローカルなミニマに閉じ込められる。
  論文  参考訳（メタデータ） (2024-10-25T17:28:39Z)
• Review Non-convex Optimization Method for Machine Learning [0.0]
  非局所最適化は、特にディープニューラルネットワークやサドルマシンのような複雑なモデルにおいて、機械学習を進める上で重要なツールである。 機械学習における非局所最適化手法と非局所最適化の応用について検討する。
  論文  参考訳（メタデータ） (2024-10-02T20:34:33Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
  非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。 本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
  論文  参考訳（メタデータ） (2022-01-28T05:53:28Z)
• Fighting the curse of dimensionality: A machine learning approach to finding global optima [77.34726150561087]
  本稿では,構造最適化問題におけるグローバル最適化の方法を示す。 特定のコスト関数を利用することで、最適化手順が確立された場合と比較して、グローバルをベストに得るか、最悪の場合、優れた結果を得るかのどちらかを得る。
  論文  参考訳（メタデータ） (2021-10-28T09:50:29Z)
• Combining resampling and reweighting for faithful stochastic optimization [1.52292571922932]
  損失関数が複数の項の和であるとき、一般的な方法は勾配降下である。 損失関数における複数の項のリプシッツ定数の差は、異なる最小値における異なる分散への勾配降下を引き起こすことを示す。
  論文  参考訳（メタデータ） (2021-05-31T04:21:25Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• Newton-type Methods for Minimax Optimization [37.58722381375258]
  ノンコンケーブなミニマックス学習のための2つの新しいニュートン型アルゴリズムを提案する。 それらの収束を厳密なミニマックス点(シーケンシャル解)で証明する。
  論文  参考訳（メタデータ） (2020-06-25T17:38:00Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。