論文の概要: Frugality in second-order optimization: floating-point approximations for Newton's method

• arxiv url: http://arxiv.org/abs/2511.17660v1
• Date: Thu, 20 Nov 2025 21:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.337906
• Title: Frugality in second-order optimization: floating-point approximations for Newton's method
• Title（参考訳）: 2階最適化におけるFrugality:Newton法における浮動小数点近似
• Authors: Giuseppe Carrino, Elena Loli Piccolomini, Elisa Riccietti, Theo Mary,
• Abstract要約: この研究はニュートンステップに対する有限精度算術の影響を分析する。 これは混合精度ニュートンに対する収束定理を確立し、「準」変種と「非コンパクト」変種を含む。 また、二階微分の部分計算を可能にする一般化されたガウスニュートン法であるGN_kを導入している。
• 参考スコア（独自算出の注目度）: 4.04818342174938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimizing loss functions is central to machine-learning training. Although first-order methods dominate practical applications, higher-order techniques such as Newton's method can deliver greater accuracy and faster convergence, yet are often avoided due to their computational cost. This work analyzes the impact of finite-precision arithmetic on Newton steps and establishes a convergence theorem for mixed-precision Newton optimizers, including "quasi" and "inexact" variants. The theorem provides not only convergence guarantees but also a priori estimates of the achievable solution accuracy. Empirical evaluations on standard regression benchmarks demonstrate that the proposed methods outperform Adam on the Australian and MUSH datasets. The second part of the manuscript introduces GN_k, a generalized Gauss-Newton method that enables partial computation of second-order derivatives. GN_k attains performance comparable to full Newton's method on regression tasks while requiring significantly fewer derivative evaluations.
• Abstract（参考訳）: 損失関数の最小化は、機械学習トレーニングの中心である。 一階法が実用的応用を支配しているが、ニュートン法のような高階法はより正確で高速な収束を実現することができるが、計算コストのためにしばしば避けられる。 この研究はニュートンステップに対する有限精度算術の影響を解析し、「準」変種や「不正確な」変種を含む混合精度ニュートンオプティマイザに対する収束定理を確立する。 この定理は収束を保証するだけでなく、達成可能な解の精度の事前推定を与える。 標準回帰ベンチマークにおける実証的な評価は、提案手法がオーストラリアおよびMUSHデータセット上でAdamより優れていることを示している。 原稿の第2部では、二階微分の部分計算を可能にする一般化されたガウスニュートン法であるGN_kが紹介されている。 GN_kは、リグレッションタスクにおけるニュートンの手法に匹敵する性能を得ると同時に、微分評価を著しく少なくする。

関連論文リスト

• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Online Covariance Matrix Estimation in Sketched Newton Methods [7.441891256588546]
  ランダム化されたスケッチ技術を利用して各イテレーションで近似したニュートンステップを実行するオンラインスケッチNewton法について検討する。 また、制約された問題に対する推定器の拡張についても論じ、回帰問題に対する優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-10T23:11:02Z)
• Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian [53.044526424637866]
  我々は、H"古いヘッセンによる2つの微分可能な目的関数を最小化する非制約非制約最適化問題を考える。 まずニュートン共役法(Newton-conjugate, Newton-CG)を提案する。 本稿では,パラメータフリーなNewtonCG法において,優れた実用性能を示すための予備的な数値計算結果を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:50:43Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Stochastic Variance-Reduced Newton: Accelerating Finite-Sum Minimization with Large Batches [0.0]
  既存のニュートン法を確実に高速化する有限サム最小化アルゴリズムを提案する。 驚くべきことに、このアクセラレーションはデータサイズが大きくなるほど大きくなります。 我々のアルゴリズムは、容易に並列な大バッチ演算や単純な単位ステップサイズなど、ニュートン型手法の重要な利点を保っている。
  論文  参考訳（メタデータ） (2022-06-06T16:00:18Z)
• Fast Projected Newton-like Method for Precision Matrix Estimation under Total Positivity [15.023842222803058]
  現在のアルゴリズムはブロック座標降下法や近点アルゴリズムを用いて設計されている。 本稿では,2次元投影法に基づく新しいアルゴリズムを提案し,慎重に設計された探索方向と変数分割方式を取り入れた。 合成および実世界のデータセットに対する実験結果から,提案アルゴリズムは最先端の手法と比較して計算効率を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-12-03T14:39:10Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• SPAN: A Stochastic Projected Approximate Newton Method [17.94221425332409]
  ヘッセン行列の逆数を計算するために,新しい近似的かつ高速なニュートン法であるSPANを提案する。 SPANは、コンバージェンスウォールクロック時間の観点から、既存の1次および2次最適化手法より優れている。
  論文  参考訳（メタデータ） (2020-02-10T12:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。