論文の概要: Gradient-Normalized Smoothness for Optimization with Approximate Hessians

• arxiv url: http://arxiv.org/abs/2506.13710v1
• Date: Mon, 16 Jun 2025 17:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:49.09686
• Title: Gradient-Normalized Smoothness for Optimization with Approximate Hessians
• Title（参考訳）: 近似ヘッセンの最適化のためのグラディエント・Normalized Smoothness
• Authors: Andrei Semenov, Martin Jaggi, Nikita Doikov,
• Abstract要約: 本研究では, 近似2次情報と勾配正規化手法を組み合わせることで, 高速なグローバル収束率を実現するアルゴリズムを開発した。 我々は,Hessianを用いたロジスティック回帰問題およびFisher and Gaussを用いた非連続ソフトコンバージェンス最適化における結果の直接的応用を示す。
• 参考スコア（独自算出の注目度）: 37.1630298053787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we develop new optimization algorithms that use approximate second-order information combined with the gradient regularization technique to achieve fast global convergence rates for both convex and non-convex objectives. The key innovation of our analysis is a novel notion called Gradient-Normalized Smoothness, which characterizes the maximum radius of a ball around the current point that yields a good relative approximation of the gradient field. Our theory establishes a natural intrinsic connection between Hessian approximation and the linearization of the gradient. Importantly, Gradient-Normalized Smoothness does not depend on the specific problem class of the objective functions, while effectively translating local information about the gradient field and Hessian approximation into the global behavior of the method. This new concept equips approximate second-order algorithms with universal global convergence guarantees, recovering state-of-the-art rates for functions with H\"older-continuous Hessians and third derivatives, quasi-self-concordant functions, as well as smooth classes in first-order optimization. These rates are achieved automatically and extend to broader classes, such as generalized self-concordant functions. We demonstrate direct applications of our results for global linear rates in logistic regression and softmax problems with approximate Hessians, as well as in non-convex optimization using Fisher and Gauss-Newton approximations.
• Abstract（参考訳）: 本研究では, 近似二階情報と勾配正規化手法を組み合わせることで, 凸および非凸の両目的に対して, 高速な大域収束率を実現する新しい最適化アルゴリズムを開発した。 我々の分析の重要な革新はグラディエント・ノルマライズド・スムースネス(Gradient-Normalized Smoothness)と呼ばれる新しい概念である。 我々の理論は、ヘッセン近似と勾配の線形化の間の自然な内在的な関係を確立する。 グラディエント・ノルマライズド・スムースネス(Gradient-Normalized Smoothness)は対象関数の特定の問題クラスに依存しない一方で、勾配場とヘッセン近似の局所情報をこの手法のグローバルな振る舞いに効果的に翻訳する。 この新しい概念は、普遍的大域収束保証を伴う近似二階アルゴリズム、H\"古い連続 Hessian と 3階微分、準自己調和関数、および一階最適化における滑らかなクラスを復元する。 これらのレートは自動的に達成され、一般化された自己調和関数のようなより広範なクラスに拡張される。 近似ヘシアンを用いたロジスティック回帰およびソフトマックス問題における大域的線形率に対する結果の直接的応用とフィッシャーとガウス・ニュートン近似を用いた非凸最適化について述べる。

関連論文リスト

• Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
  本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。 本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
  論文  参考訳（メタデータ） (2025-06-02T17:34:29Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization [4.103281325880475]
  本稿では、中央コーディネータを使わずに、局所的な計算と通信によって、オンライン最適化問題を分散的に解決することを目的とした、計算機エージェントのネットワークを扱う。 本稿では,適応運動量推定法(GTAdam)を用いた勾配追従法と,勾配の1次および2次運動量推定法を組み合わせた勾配追従法を提案する。 マルチエージェント学習によるこれらの数値実験では、GTAdamは最先端の分散最適化手法よりも優れている。
  論文  参考訳（メタデータ） (2020-09-03T15:20:21Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。