論文の概要: Invariance Properties of the Natural Gradient in Overparametrised Systems

• arxiv url: http://arxiv.org/abs/2206.15273v1
• Date: Thu, 30 Jun 2022 13:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 22:34:10.037542
• Title: Invariance Properties of the Natural Gradient in Overparametrised Systems
• Title（参考訳）: 過パラメータ系における自然勾配の不変性特性
• Authors: Jesse van Oostrum, Johannes M\"uller, Nihat Ay
• Abstract要約: 自然勾配場は、目立った計量を備えたモデル上での目的関数の最も急な上昇の方向を表す。 自然パラメータ勾配のプッシュフォワードが自然勾配と等しい場合について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The natural gradient field is a vector field that lives on a model equipped with a distinguished Riemannian metric, e.g. the Fisher-Rao metric, and represents the direction of steepest ascent of an objective function on the model with respect to this metric. In practice, one tries to obtain the corresponding direction on the parameter space by multiplying the ordinary gradient by the inverse of the Gram matrix associated with the metric. We refer to this vector on the parameter space as the natural parameter gradient. In this paper we study when the pushforward of the natural parameter gradient is equal to the natural gradient. Furthermore we investigate the invariance properties of the natural parameter gradient. Both questions are addressed in an overparametrised setting.
• Abstract（参考訳）: 自然勾配場(英: natural gradient field)は、有名なリーマン計量(例えばフィッシャー・ラオ計量)を備えたモデル上に存在するベクトル場であり、この計量に関するモデル上の対象関数の最も急な上昇の方向を表す。 実際には、計量に付随するグラム行列の逆によって通常の勾配を乗じることで、パラメータ空間上の対応する方向を求める。 パラメータ空間上のこのベクトルを自然パラメータ勾配と呼ぶ。 本稿では,自然パラメータ勾配のプッシュフォワードが自然勾配と等しくなる場合について検討する。 さらに,自然パラメータ勾配の不変性について検討する。 どちらの質問も過度にパラメータ化された設定で解決される。

関連論文リスト

• Global $\mathcal{L}^2$ minimization at uniform exponential rate via geometrically adapted gradient descent in Deep Learning [1.4050802766699084]
  本稿では,ディープラーニング(DL)ネットワークにおける教師あり学習のシナリオについて考察する。 DLネットワークの出力層におけるユークリッド計量に対する勾配流を選択する。
  論文  参考訳（メタデータ） (2023-11-27T02:12:02Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent [64.26008239544085]
  通勤パラメトリゼーションのある勾配流は、関連するレジェンド関数を持つ連続ミラー降下と等価である。 ルジャンドル関数を持つ連続ミラー降下は、関連する通勤パラメトリゼーションを伴う勾配流と見なすことができる。
  論文  参考訳（メタデータ） (2022-07-08T17:47:11Z)
• Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems [1.2891210250935146]
  本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。 我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。 大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
  論文  参考訳（メタデータ） (2022-02-13T07:32:17Z)
• Depth Without the Magic: Inductive Bias of Natural Gradient Descent [1.020554144865699]
  勾配降下では、モデルをパラメータ化する方法を変えることで、大幅に異なる最適化軌道が導かれる。 深い線形ネットワークにおける自然勾配流の挙動を,ロジスティックな損失と深い行列因数分解の下で分離可能な分類のために特徴づける。 本研究では,自然勾配降下が一般化に失敗する学習問題が存在する一方で,適切なアーキテクチャによる勾配降下が良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T21:20:10Z)
• Natural Gradient Optimization for Optical Quantum Circuits [4.645254587634926]
  我々は、光量子回路設定において自然勾配降下を実装した。 特に、複素数値パラメータ空間に自然勾配アプローチを適用する。 NGアプローチがより高速な収束を持つのを観察する。
  論文  参考訳（メタデータ） (2021-06-25T14:25:52Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。