論文の概要: Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems

• arxiv url: http://arxiv.org/abs/2202.06236v1
• Date: Sun, 13 Feb 2022 07:32:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 09:26:09.342800
• Title: Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems
• Title（参考訳）: 大規模最適化問題に対する高効率自然勾配蛍光法
• Authors: Levon Nurbekyan, Wanzhou Lei and Yunan Yang
• Abstract要約: 本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。 我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。 大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
• 参考スコア（独自算出の注目度）: 1.2891210250935146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an efficient numerical method for computing natural gradient descent directions with respect to a generic metric in the state space. Our technique relies on representing the natural gradient direction as a solution to a standard least-squares problem. Hence, instead of calculating, storing, or inverting the information matrix directly, we apply efficient methods from numerical linear algebra to solve this least-squares problem. We treat both scenarios where the derivative of the state variable with respect to the parameter is either explicitly known or implicitly given through constraints. We apply the QR decomposition to solve the least-squares problem in the former case and utilize the adjoint-state method to compute the natural gradient descent direction in the latter case. As a result, we can reliably compute several natural gradient descents, including the Wasserstein natural gradient, for a large-scale parameter space with thousands of dimensions, which was believed to be out of reach. Finally, our numerical results shed light on the qualitative differences among the standard gradient descent method and various natural gradient descent methods based on different metric spaces in large-scale nonconvex optimization problems.
• Abstract（参考訳）: 本研究では,状態空間における一般測度に対する自然勾配降下方向の計算に有効な数値計算法を提案する。 本手法は, 標準最小二乗問題の解として, 自然勾配方向を表現することに依存している。 したがって,情報行列を直接計算・保存・反転する代わりに,数値線形代数学の効率的な手法を適用し,この最小二乗問題を解く。 パラメータに対する状態変数の微分が明示的に知られているか、制約によって暗黙的に与えられるというシナリオの両方を扱う。 前者の場合の最小二乗問題を解くためにQR分解を適用し、後者の場合の自然勾配降下方向を計算するために随伴状態法を用いる。 その結果、数千次元の大規模パラメータ空間に対して、wasserstein自然勾配を含むいくつかの自然勾配降下を確実に計算することができる。 最後に, 大規模非凸最適化問題における標準勾配降下法と各種自然勾配降下法との質的差異について, 数値計算結果から考察した。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
  機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。 本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
  論文  参考訳（メタデータ） (2024-07-05T08:53:06Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis [0.0]
  Natural Gradient Descentは、情報幾何学によって動機付けられた2次最適化手法である。 一般的に使用されるヘッセン語の代わりにフィッシャー情報マトリックスを使用している。 2階法であることは、膨大な数のパラメータとデータを扱う問題で直接使用されることが不可能である。
  論文  参考訳（メタデータ） (2023-03-06T04:03:56Z)
• Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
  エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。 エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
  論文  参考訳（メタデータ） (2023-02-25T21:17:19Z)
• MARS via LASSO [1.5199437137239338]
  我々はMARS法の自然変種を提案し,研究する。 提案手法は,関数の凸クラス上での少なくとも2乗推定に基づいている。 我々の推定器は有限次元凸最適化によって計算できる。
  論文  参考訳（メタデータ） (2021-11-23T07:30:33Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。