論文の概要: Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms

• arxiv url: http://arxiv.org/abs/2401.10923v1
• Date: Mon, 15 Jan 2024 13:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-28 15:54:10.122329
• Title: Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
• Title（参考訳）: 確率最適化のためのヘシアン逆数のオンライン推定と普遍確率ニュートンアルゴリズムへの応用
• Authors: Antoine Godichon-Baggioni (LPSM (UMR_8001)), Wei Lu (LMI), Bruno Portier (LMI)
• Abstract要約: 本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。 とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses second-order stochastic optimization for estimating the minimizer of a convex function written as an expectation. A direct recursive estimation technique for the inverse Hessian matrix using a Robbins-Monro procedure is introduced. This approach enables to drastically reduces computational complexity. Above all, it allows to develop universal stochastic Newton methods and investigate the asymptotic efficiency of the proposed approach. This work so expands the application scope of secondorder algorithms in stochastic optimization.
• Abstract（参考訳）: 本稿では,期待として記述された凸関数の最小値推定のための2階確率最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。 このアプローチは計算の複雑さを劇的に減らすことができる。 とりわけ、普遍的確率ニュートン法を開発し、提案手法の漸近的効率性を検討することができる。 この作業は、確率最適化における二次アルゴリズムの応用範囲を広げる。

関連論文リスト

• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• A Full Adagrad algorithm with O(Nd) operations [4.389938747401259]
  この研究は大規模アプリケーションのための効率的で実用的なアルゴリズムを提供する。 この革新的な戦略は、一般的にフルマトリックスメソッドに関連する複雑さとリソース要求を著しく削減する。
  論文  参考訳（メタデータ） (2024-05-03T08:02:08Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Reinforcement Learning with Unbiased Policy Evaluation and Linear Function Approximation [11.345796608258434]
  マルコフ決定プロセスを制御するためのシミュレーションベースのポリシーイテレーションの変種に対して,性能保証を提供する。 第一のアルゴリズムは最小二乗アプローチを伴い、各反復において、特徴ベクトルに関連する新しい重みの集合が少なくとも二乗によって得られる。 第2のアルゴリズムは、最小二乗解への勾配降下を数ステップ行う2段階の近似アルゴリズムを含む。
  論文  参考訳（メタデータ） (2022-10-13T20:16:19Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• A stochastic linearized proximal method of multipliers for convex stochastic optimization with expectation constraints [8.133190610747974]
  計算可能近似型アルゴリズム,すなわち乗算器の線形化近近凸法を提案する。 予備的な数値計算の結果は,提案アルゴリズムの性能を示すものである。
  論文  参考訳（メタデータ） (2021-06-22T07:24:17Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Riemannian stochastic recursive momentum method for non-convex optimization [36.79189106909088]
  我々は,1回の反復で$mathcalOグラデーション評価を行うための atildeOepsilon$-approximate gradient Evaluations 法を提案する。 提案した実験はアルゴリズムの優越性を実証するものである。
  論文  参考訳（メタデータ） (2020-08-11T07:05:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。