論文の概要: Generalized Tangent Kernel: A Unified Geometric Foundation for Natural Gradient and Standard Gradient
- arxiv url: http://arxiv.org/abs/2202.06232v4
- Date: Fri, 26 Sep 2025 18:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:18.606785
- Title: Generalized Tangent Kernel: A Unified Geometric Foundation for Natural Gradient and Standard Gradient
- Title（参考訳）: Generalized Tangent Kernel: 自然勾配と標準勾配のための統一幾何学的基礎
- Authors: Qinxun Bai, Steven Rosenberg, Wei Xu,
- Abstract要約: 自然勾配と標準勾配の両方を研究するための幾何学的視点と数学的枠組みを提供する。
自然勾配と標準勾配を統一する鍵となる道具は、ニューラルタンジェントカーネル(NTK)の一般化形式である。
- 参考スコア（独自算出の注目度）: 9.932574972162845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural gradients have been widely studied from both theoretical and empirical perspectives, and it is commonly believed that natural gradients have advantages over standard (Euclidean) gradients in capturing the intrinsic geometric structure of the underlying function space and being invariant under reparameterization. However, for function optimization, a fundamental theoretical issue regarding the existence of natural gradients on the function space remains underexplored. We address this issue by providing a geometric perspective and mathematical framework for studying both natural gradient and standard gradient that is more complete than existing studies. The key tool that unifies natural gradient and standard gradient is a generalized form of the Neural Tangent Kernel (NTK), which we name the Generalized Tangent Kernel (GTK). Using a novel orthonormality property of GTK, we show that for a fixed parameterization, GTK determines a Riemannian metric on the entire function space which makes the standard gradient as "natural" as the natural gradient in capturing the intrinsic structure of the parameterized function space. Many aspects of this approach relate to RKHS theory. For the practical side of this theory paper, we showcase that our framework motivates new solutions to the non-immersion/degenerate case of natural gradient and leads to new families of natural/standard gradient descent methods.
- Abstract（参考訳）: 自然勾配は、理論と経験の両方の観点から広く研究されており、自然勾配は、下層の函数空間の内在的な幾何学的構造を捉え、再パラメータ化の下で不変であるという点において、標準(ユークリッド)勾配よりも有利であると一般的に信じられている。
しかし、関数最適化については、関数空間上の自然勾配の存在に関する根本的な理論的問題が未解明のままである。
自然勾配と標準勾配の両方を研究するための幾何学的視点と数学的枠組みを提供することでこの問題に対処する。
自然勾配と標準勾配を統一する鍵となる道具は、一般タンジェントカーネル(英語版)(NTK)の一般化形式であり、これを一般化タンジェントカーネル(英語版)(GTK)と呼ぶ。
GTK の新たな正則性を用いて、GTK は、固定されたパラメータ化に対して、パラメータ化された函数空間の内在的構造を捉える際に、標準勾配を「自然な」自然勾配とする函数空間全体のリーマン計量を決定することを示す。
このアプローチの多くの側面は、RKHS理論に関係している。
本稿では,本理論の実践的な側面から,本フレームワークが自然勾配の非没入/退避事例に対する新たな解を動機付け,自然勾配降下法の新たなファミリーを導出することを示す。
関連論文リスト
- Optimization Guarantees for Square-Root Natural-Gradient Variational Inference [16.89312441692349]
本稿では,変分ガウス推定とその連続時間勾配流に対する収束保証を確立する。
実験では、自然勾配法の有効性を実証し、ユークリッドあるいはワッサーシュタイン幾何学を用いるアルゴリズムよりもそれらの利点を強調している。
論文 参考訳（メタデータ） (2025-07-10T15:33:28Z) - A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。
本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。
判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
論文 参考訳（メタデータ） (2025-01-20T02:48:07Z) - Towards Training Without Depth Limits: Batch Normalization Without
Gradient Explosion [83.90492831583997]
バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。
線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。
また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
論文 参考訳（メタデータ） (2023-10-03T12:35:02Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。
エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
論文 参考訳（メタデータ） (2023-02-25T21:17:19Z) - On the Overlooked Structure of Stochastic Gradients [34.650998241703626]
一方,ミニバッチトレーニングによる繰り返し勾配と勾配雑音は,通常,パワー則重尾は示さない。
我々の研究は、既存の信念に挑戦し、ディープラーニングにおける勾配の構造に関する新しい洞察を提供する。
論文 参考訳（メタデータ） (2022-12-05T07:55:22Z) - Sampling in Constrained Domains with Orthogonal-Space Variational
Gradient Descent [13.724361914659438]
多様体上のサンプリングのための直交空間勾配流(O-Gradient)を設計した新しい変分フレームワークを提案する。
我々は、O-Gradient が目標制約分布に収束し、弱条件下では、$widetildeO (1/textthe number of iterations)$$で収束することを証明した。
論文 参考訳（メタデータ） (2022-10-12T17:51:13Z) - Efficient Natural Gradient Descent Methods for Large-Scale Optimization
Problems [1.2891210250935146]
本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。
我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。
大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
論文 参考訳（メタデータ） (2022-02-13T07:32:17Z) - Depth Without the Magic: Inductive Bias of Natural Gradient Descent [1.020554144865699]
勾配降下では、モデルをパラメータ化する方法を変えることで、大幅に異なる最適化軌道が導かれる。
深い線形ネットワークにおける自然勾配流の挙動を,ロジスティックな損失と深い行列因数分解の下で分離可能な分類のために特徴づける。
本研究では,自然勾配降下が一般化に失敗する学習問題が存在する一方で,適切なアーキテクチャによる勾配降下が良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T21:20:10Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳（メタデータ） (2020-03-11T13:15:57Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。