論文の概要: Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation

• arxiv url: http://arxiv.org/abs/2205.11033v1
• Date: Mon, 23 May 2022 04:34:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-29 12:10:31.621624
• Title: Augmented Newton Method for Optimization: Global Linear Rate and Momentum Interpretation
• Title（参考訳）: 最適化のための拡張ニュートン法:大域線形速度と運動量解釈
• Authors: Md Sarowar Morshed
• Abstract要約: 制約のない問題を解くために,ニュートン法の2つの変種を提案する。 我々は、Penalty Newton法とAugmented Newton法という、ニュートン法の新しい変種を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We propose two variants of Newton method for solving unconstrained minimization problem. Our method leverages optimization techniques such as penalty and augmented Lagrangian method to generate novel variants of the Newton method namely the Penalty Newton method and the Augmented Newton method. In doing so, we recover several well-known existing Newton method variants such as Damped Newton, Levenberg, and Levenberg-Marquardt methods as special cases. Moreover, the proposed Augmented Newton method can be interpreted as Newton method with adaptive heavy ball momentum. We provide global convergence results for the proposed methods under mild assumptions that hold for a wide variety of problems. The proposed methods can be sought as the penalty and augmented extensions of the results obtained by Karimireddy et. al [24].
• Abstract（参考訳）: 制約のない最小化問題の解法としてNewton法を2種類提案する。 本手法は,ペナルティ法や拡張ラグランジアン法などの最適化手法を応用し,ペナルティニュートン法と拡張ニュートン法という,ニュートン法の新たな変種を生成する。 その際, ダンプ・ニュートン法, レベンベルク法, レベンベルグ法, レベンバーグ=マルカルト法などの既知のニュートン法を特殊ケースとして回収した。 さらに,提案する拡張ニュートン法は,適応重球運動量を持つニュートン法と解釈できる。 我々は,様々な問題に対処できる軽度の仮定の下で,提案手法のグローバル収束結果を提供する。 提案手法はKarimireddyらによって得られた結果のペナルティと拡張として求めることができる。 アル[24]

関連論文リスト

• Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods [1.190653833745802]
  我々は、シンプレクティック・スティーフェル多様体上の明示的な二階幾何学とニュートンの方法を開発する。 次にニュートン方程式をニュートン法の中心的なステップとして解く。 提案手法を検証するために, 種々の数値実験を行った。
  論文  参考訳（メタデータ） (2024-06-20T13:26:06Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Backtracking New Q-Newton's method, Newton's flow, Voronoi's diagram and Stochastic root finding [0.0]
  ニュートン法の新しい変種 - Backtracking New Q-Newton's method (BNQN) は強力な理論的保証を持ち、実装が容易であり、優れた実験性能を有する。
  論文  参考訳（メタデータ） (2024-01-02T15:37:47Z)
• Newton-CG methods for nonconvex unconstrained optimization with H\"older continuous Hessian [5.161026048499362]
  我々は、H"古いヘッセンによる2つの微分可能な目的関数を最小化する非制約非制約最適化問題を考える。 パラメータの事前知識を必要とせず,パラメータフリーなNewtonCG法を開発した。 本稿では,よく知られた正規化ニュートン法よりも優れた実用性能を示すために,予備的な数値計算結果を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:50:43Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Automated differential equation solver based on the parametric approximation optimization [77.34726150561087]
  本稿では,最適化アルゴリズムを用いてパラメータ化近似を用いた解を求める手法を提案する。 アルゴリズムのパラメータを変更することなく、幅広い種類の方程式を自動で解くことができる。
  論文  参考訳（メタデータ） (2022-05-11T10:06:47Z)
• Inertial Newton Algorithms Avoiding Strict Saddle Points [0.7614628596146602]
  ニュートン法と慣性勾配勾配を混合した二階アルゴリズムの挙動について検討した。 これらの手法のニュートン的振る舞いは、ほとんど常に厳密な点から逃れていることを示す。
  論文  参考訳（メタデータ） (2021-11-08T16:02:45Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Information Newton's flow: second-order optimization method in probability space [10.340665633567083]
  確率空間におけるニュートンのフローのフレームワークについて,情報メトリクス,名前付き情報,ニュートンのフローについて紹介する。 既知の事実は、過剰なランゲヴィンの力学がクルバック・リーバーの発散のワッサーシュタイン勾配流に対応することである。 一次元空間とガウス族の両方におけるニュートンのランゲヴィン力学の例を示す。
  論文  参考訳（メタデータ） (2020-01-13T15:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。