Fugu-MT 論文翻訳(概要): Inertial Newton Algorithms Avoiding Strict Saddle Points

論文の概要: Inertial Newton Algorithms Avoiding Strict Saddle Points

arxiv url: http://arxiv.org/abs/2111.04596v1
Date: Mon, 8 Nov 2021 16:02:45 GMT
ステータス: 処理完了
システム内更新日: 2021-11-09 20:08:50.366101
Title: Inertial Newton Algorithms Avoiding Strict Saddle Points
Title（参考訳）: 厳密な鞍点を避ける慣性ニュートンアルゴリズム
Authors: Camille Castera
Abstract要約: ニュートン法と慣性勾配勾配を混合した二階アルゴリズムの挙動について検討した。これらの手法のニュートン的振る舞いは、ほとんど常に厳密な点から逃れていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the asymptotic behavior of second-order algorithms mixing Newton's method and inertial gradient descent in non-convex landscapes. We show that, despite the Newtonian behavior of these methods, they almost always escape strict saddle points. We also evidence the role played by the hyper-parameters of these methods in their qualitative behavior near critical points. The theoretical results are supported by numerical illustrations.
Abstract（参考訳）: 非凸景観におけるニュートン法と慣性勾配勾配を混合した2階アルゴリズムの漸近挙動について検討した。これらの手法のニュートン的挙動にもかかわらず、彼らは常に厳密な鞍点から逃れている。また,これらの手法の超パラメータが臨界点近傍の質的挙動に果たす役割を証明した。理論的結果は数値図によって支えられている。

関連論文リスト

A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文参考訳（メタデータ） (2024-05-24T21:09:19Z)
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
Newton-CG methods for nonconvex unconstrained optimization with H\"older continuous Hessian [5.161026048499362]
我々は、H"古いヘッセンによる2つの微分可能な目的関数を最小化する非制約非制約最適化問題を考える。パラメータの事前知識を必要とせず,パラメータフリーなNewtonCG法を開発した。本稿では,よく知られた正規化ニュートン法よりも優れた実用性能を示すために,予備的な数値計算結果を提案する。
論文参考訳（メタデータ） (2023-11-22T01:50:43Z)
Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
本稿ではその問題を考察する。加速勾配法の一般一般の凸挙動を理解すること。非アプティック関数。これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
論文参考訳（メタデータ） (2023-07-13T19:11:07Z)
Understanding Accelerated Gradient Methods: Lyapunov Analyses and Hamiltonian Assisted Interpretations [1.0152838128195465]
我々は、滑らかな凸関数と強凸関数を最小化するために、以前研究したよりも一般的な1次アルゴリズムの2つのクラスを定式化する。我々は、新しい離散リアプノフ解析を通じて、強い凸条件と一般的な凸条件でネステロフの手法と一致する加速収束率を達成するのに十分な条件を確立する。我々は、ハミルトン関数といくつかの解釈可能な操作を直接ベースとした、ハミルトン支援勾配法と呼ばれる新しい離散アルゴリズムのクラスを提案する。
論文参考訳（メタデータ） (2023-04-20T03:03:30Z)
Stochastic noise can be helpful for variational quantum algorithms [8.8226732803857]
サドル点は一階勾配勾配アルゴリズムにとって重要な課題である。我々は、量子性の存在を利用して、サドル点問題は変分アルゴリズムで自然に回避できることを示す。
論文参考訳（メタデータ） (2022-10-13T04:39:41Z)
Point Cloud Denoising via Momentum Ascent in Gradient Fields [72.93429911044903]
ニューラルネットワークを用いて雑音点雲から勾配場を推定する勾配法を提案した。そこで我々は, 過去の反復情報を利用して, 点の軌道を決定する運動量勾配上昇法を開発した。実験により, 提案手法は, 様々な点群, ノイズタイプ, 騒音レベルを有する最先端手法よりも優れていた。
論文参考訳（メタデータ） (2022-02-21T10:21:40Z)
On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。エルゴード理論の力学系に基づく新しい視点を提案する。
論文参考訳（メタデータ） (2021-10-12T18:12:23Z)
Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
論文参考訳（メタデータ） (2021-05-08T22:38:00Z)
Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions [0.0]
本稿では,Newton法が勾配およびヘッセン版のサブサンプル版を用いて,その推定値を反復的に更新する方法を示す。ベイズフィルタを適用して、観測の歴史全体について考察する。古い観測結果が減少する行列に基づく条件を確立する。このアプローチのさまざまな側面を、Newtonメソッドの例や他のイノベーションで説明します。
論文参考訳（メタデータ） (2021-04-27T02:39:21Z)
Stochastic Hamiltonian Gradient Methods for Smooth Games [51.47367707388402]
ハミルトンの手法のクラスに焦点をあて、滑らかなゲームのあるクラスに対する最初の収束保証を提供する。最適化文献からのツールを用いて、SHGDは勾配の近傍に直線的に収束することを示す。この結果から,一般ゲームのクラスに対して,非漸近的でない最後の収束保証を初めて提供する。
論文参考訳（メタデータ） (2020-07-08T15:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。