Fugu-MT 論文翻訳(概要): Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization

論文の概要: Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization

arxiv url: http://arxiv.org/abs/2604.23922v1
Date: Mon, 27 Apr 2026 00:35:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-28 17:12:07.679393
Title: Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization
Title（参考訳）: 準数値勾配:準ニュートン最適化におけるBFGS法の高速化に向けた新しい方向
Authors: John Chiang,
Abstract要約: 準ニュートンフレームワーク内のBFGS法を高速化する新しい探索方向である準量子勾配(QQG)を導入する。逆ヘッセン近似と電流勾配の積としてQQGを定義することにより、探索経路の修正に局所的な二階曲率を明示的に活用する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce the Quasi-Quadratic Gradient (QQG), a novel search direction designed to accelerate the BFGS method within the quasi-Newton framework. By defining the QQG as the product of the inverse Hessian approximation and the current gradient, we explicitly leverage local second-order curvature to rectify the search path. Theoretical analysis and empirical results demonstrate that our approach significantly outperforms vanilla BFGS in convergence speed while maintaining computational efficiency.
Abstract（参考訳）: 本稿では,準ニュートンフレームワーク内のBFGS法を高速化するために設計された新しい探索方向であるQuasi-Quadratic Gradient (QQG)を紹介する。逆ヘッセン近似と電流勾配の積としてQQGを定義することにより、探索経路の修正に局所的な二階曲率を明示的に活用する。理論的解析と実験結果から,計算効率を維持しつつ,バニラBFGSの収束速度を著しく上回っていることが明らかとなった。

関連論文リスト

Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文参考訳（メタデータ） (2024-02-04T05:54:51Z)
Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
論文参考訳（メタデータ） (2023-11-21T04:10:03Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Revisiting the acceleration phenomenon via high-resolution differential equations [6.53306151979817]
ネステロフの加速勾配降下(NAG)は、一階アルゴリズムの歴史におけるマイルストーンの1つである。 Lyapunov解析と位相空間表現に基づく$mu$-strongly convex関数のNAGについて検討する。 NAGの暗黙的速度スキームによる高分解能微分方程式の枠組みは完璧であり、勾配補正スキームよりも優れていた。
論文参考訳（メタデータ） (2022-12-12T04:36:37Z)
Proximal Subgradient Norm Minimization of ISTA and FISTA [8.261388753972234]
反復収縮保持アルゴリズムのクラスに対する2乗近位次数ノルムは逆2乗率で収束することを示す。また、高速反復収縮保持アルゴリズム (FISTA) のクラスに対する2乗次次数次ノルムが、逆立方レートで収束するように加速されることも示している。
論文参考訳（メタデータ） (2022-11-03T06:50:19Z)
A modified limited memory Nesterov's accelerated quasi-Newton [0.0]
ネステロフの加速準ニュートン(L)NAQ法は従来の(L)BFGS準ニュートン法を加速することを示した。 Momentum accelerated Quasi-Newton (MoQ) 法は,Nesterov の加速勾配を過去の勾配の線形結合として近似できることを示した。この抽象化は、MoQ近似を限られたメモリNAQに拡張し、関数近似問題における性能を評価する。
論文参考訳（メタデータ） (2021-12-01T06:48:47Z)
Acceleration Methods [57.202881673406324]
まず2次最適化問題を用いて加速法を2つ導入する。我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
論文参考訳（メタデータ） (2021-01-23T17:58:25Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
論文参考訳（メタデータ） (2020-09-23T20:02:00Z)
Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。