論文の概要: An Efficient Nonlinear Acceleration method that Exploits Symmetry of the Hessian

• arxiv url: http://arxiv.org/abs/2210.12573v1
• Date: Sat, 22 Oct 2022 23:48:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 21:36:47.760101
• Title: An Efficient Nonlinear Acceleration method that Exploits Symmetry of the Hessian
• Title（参考訳）: ヘッシアンの対称性を利用した効率的な非線形加速度法
• Authors: Huan He, Shifan Zhao, Ziyuan Tang, Joyce C Ho, Yousef Saad, Yuanzhe Xi
• Abstract要約: 本稿では, ヘッセンの対称性を利用してメモリ使用量を削減する非線形トランシクス一般化共役残差法(nlTGCR)を提案する。 我々は,nlTGCRが残差チェック技術などの大域的戦略の助けを借りて,一般的な非線形問題に対してグローバルに収束できることを示し,軽度条件下では,nlTGCRが超線形収束を達成することができることを示した。
• 参考スコア（独自算出の注目度）: 6.589238824237247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Nonlinear acceleration methods are powerful techniques to speed up fixed-point iterations. However, many acceleration methods require storing a large number of previous iterates and this can become impractical if computational resources are limited. In this paper, we propose a nonlinear Truncated Generalized Conjugate Residual method (nlTGCR) whose goal is to exploit the symmetry of the Hessian to reduce memory usage. The proposed method can be interpreted as either an inexact Newton or a quasi-Newton method. We show that, with the help of global strategies like residual check techniques, nlTGCR can converge globally for general nonlinear problems and that under mild conditions, nlTGCR is able to achieve superlinear convergence. We further analyze the convergence of nlTGCR in a stochastic setting. Numerical results demonstrate the superiority of nlTGCR when compared with several other competitive baseline approaches on a few problems. Our code will be available in the future.
• Abstract（参考訳）: 非線形加速度法は固定点反復を高速化する強力な手法である。 しかし、多くのアクセラレーション手法では、多くの先行するイテレーションを格納する必要があるため、計算資源が限られている場合、これは非現実的になる可能性がある。 本稿では,hessianの対称性を利用してメモリ使用量を削減することを目的とした非線形切断一般化共役残差法(nltgcr)を提案する。 提案手法は,不正確なニュートン法あるいは準ニュートン法と解釈できる。 残差チェック手法のようなグローバル戦略により、nltgcrは一般的な非線形問題に対してグローバルに収束し、穏やかな条件下ではnltgcrが超線形収束を実現できることを示す。 さらに, 確率的条件下でのnlTGCRの収束を解析する。 数値実験の結果,nltgcrは,いくつかの問題に対する他の競合ベースラインアプローチと比較して優れていることが示された。 私たちのコードは将来利用可能になります。

関連論文リスト

• Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods [0.3222802562733786]
  ヘシアン・アブラッシングに基づくサブサンプルニュートン法による有限サム予測対象関数の最小化について検討する。 これらの方法は不有効であり、ヘッセン近似の固定コストがかかる。 本稿では,新しい解析手法を提案し,その実用化に向けた課題を提案する。
  論文  参考訳（メタデータ） (2024-08-14T03:27:48Z)
• Incremental Gauss--Newton Methods with Superlinear Convergence Rates [16.92437325972209]
  Incrmental Gauss--Newton(IGN)法を明示的な超線形収束速度で導入する。 特に、有限サム構造を持つ非線形最小二乗で問題を定式化する。 また、より高速な超線形収束率を得るIGN法に対するミニバッチ拡張も提供する。
  論文  参考訳（メタデータ） (2024-07-03T15:26:34Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Limited-Memory Greedy Quasi-Newton Method with Non-asymptotic Superlinear Convergence Rate [37.49160762239869]
  本稿では,非漸近性超線形速度を明示的に達成できるリミテッドメモリGreedy BFGS(LG-BFGS)法を提案する。 我々の確立した非漸近超線形収束速度は、収束速度とメモリ要求との明確なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-06-27T12:59:56Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties [10.913266721195916]
  ネステロフの加速シミュレーション(AG)は、対物関数を2つ、凸損失とペナルティ関数の2つに最適化する一般的な手法である。 最近のNesterov's AGの提案は一般化しているが、統計学習問題には適用されていない。 本稿では,非AGアルゴリズムを高次元かつスパースな統計的学習問題に適用することを検討する。
  論文  参考訳（メタデータ） (2020-09-22T15:37:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。