論文の概要: Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization

• arxiv url: http://arxiv.org/abs/2111.15645v1
• Date: Tue, 30 Nov 2021 18:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 16:47:26.428900
• Title: Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization
• Title（参考訳）: サーベイ降下:非滑らか最適化のための勾配降下の多点一般化
• Authors: X.Y. Han and Adrian S. Lewis
• Abstract要約: 局所最適化のための勾配降下繰り返しの一般化を提案する。 目的自体が滑らかであるときに線形収束を証明し、実験によりより一般的な現象が示唆される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: For strongly convex objectives that are smooth, the classical theory of gradient descent ensures linear convergence relative to the number of gradient evaluations. An analogous nonsmooth theory is challenging: even when the objective is smooth at every iterate, the corresponding local models are unstable, and traditional remedies need unpredictably many cutting planes. We instead propose a multipoint generalization of the gradient descent iteration for local optimization. While designed with general objectives in mind, we are motivated by a "max-of-smooth" model that captures subdifferential dimension at optimality. We prove linear convergence when the objective is itself max-of-smooth, and experiments suggest a more general phenomenon.
• Abstract（参考訳）: 滑らかな凸目標に対して、勾配降下の古典的理論は勾配評価の数に対して線形収束を保証する。 類似の非スムース理論は困難である: 目標が全ての反復で滑らかであるとしても、対応する局所モデルは不安定であり、伝統的な救済には予測不能な多くの切削面が必要である。 代わりに局所最適化のための勾配降下イテレーションの多点一般化を提案する。 一般目的を念頭に設計されている一方で、最適性で部分微分次元を捉える「滑らかな最大」モデルによって動機付けられている。 目的が最大運動量であるときに線形収束を証明し、実験によりより一般的な現象が示唆される。

関連論文リスト

• Independently-Normalized SGD for Generalized-Smooth Nonconvex Optimization [19.000530691874516]
  我々は、多くの非機械学習問題が従来の非スムーズな非スムーズな状態を超えるような条件を満たすことを示した。 独立サンプリングと正規化を利用する独立正規化勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T21:52:00Z)
• Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
  我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。 我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。 我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
  論文  参考訳（メタデータ） (2024-03-06T22:24:05Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Robust Implicit Regularization via Weight Normalization [5.37610807422229]
  重み正規化は、重みが実質的に大規模であっても持続する頑健なバイアスを可能にすることを示す。 実験により, 暗黙バイアスの収束速度とロバスト性の両方の利得は, 重み正規化を用いて劇的に改善されることが示唆された。
  論文  参考訳（メタデータ） (2023-05-09T13:38:55Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program [26.143558180103334]
  凸形状と双対性の観点から2層ReLULUネットワークの非定常流について検討する。 そこで本研究では, 原始二重対応により, 非下位降下問題を特定することができることを示す。
  論文  参考訳（メタデータ） (2021-10-13T04:17:08Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。