Fugu-MT 論文翻訳(概要): Understanding Natural Gradient in Sobolev Spaces

論文の概要: Understanding Natural Gradient in Sobolev Spaces

arxiv url: http://arxiv.org/abs/2202.06232v1
Date: Sun, 13 Feb 2022 07:04:44 GMT
ステータス: 処理完了
システム内更新日: 2022-02-16 09:27:05.771425
Title: Understanding Natural Gradient in Sobolev Spaces
Title（参考訳）: ソボレフ空間における自然勾配の理解
Authors: Qinxun Bai, Steven Rosenberg, Wei Xu
Abstract要約: ソボレベロメトリーによって誘導される自然勾配について検討し,いくつかの厳密な結果が得られた。予備実験の結果、この新しい自然勾配変種の可能性が明らかとなった。
参考スコア（独自算出の注目度）: 15.33151811602988
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While natural gradients have been widely studied from both theoretical and empirical perspectives, we argue that a fundamental theoretical issue regarding the existence of gradients in infinite dimensional function spaces remains underexplored. We therefore study the natural gradient induced by Sobolevmetrics and develop several rigorous results. Our results also establish new connections between natural gradients and RKHS theory, and specifically to the Neural Tangent Kernel (NTK). We develop computational techniques for the efficient approximation of the proposed Sobolev Natural Gradient. Preliminary experimental results reveal the potential of this new natural gradient variant.
Abstract（参考訳）: 自然勾配は理論的・経験的両面から広く研究されているが、無限次元函数空間における勾配の存在に関する根本的な理論的問題はまだ未解明である。そこで,ソボレボメトリックスによる自然勾配の研究を行い,いくつかの厳密な結果を得た。また、自然勾配とRKHS理論、特にニューラル・タンジェント・カーネル(NTK)との新たな関係を確立した。提案するソボレフ自然勾配の効率的な近似のための計算手法を開発した。予備実験の結果、この新しい自然勾配変種の可能性が明らかとなった。

関連論文リスト

Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
論文参考訳（メタデータ） (2023-10-03T12:35:02Z)
Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文参考訳（メタデータ） (2023-06-06T19:02:57Z)
Achieving High Accuracy with PINNs via Energy Natural Gradients [0.0]
エネルギー自然勾配から生じる関数空間の更新方向は、モデルの接空間への射影をニュートン方向変調する。エネルギー自然勾配降下法は,標準勾配降下法あるいはアダム法を用いてPINNを訓練する際に得られるものよりも数桁小さい誤差で高精度な解が得られることを示した。
論文参考訳（メタデータ） (2023-02-25T21:17:19Z)
On the Overlooked Structure of Stochastic Gradients [34.650998241703626]
一方,ミニバッチトレーニングによる繰り返し勾配と勾配雑音は,通常,パワー則重尾は示さない。我々の研究は、既存の信念に挑戦し、ディープラーニングにおける勾配の構造に関する新しい洞察を提供する。
論文参考訳（メタデータ） (2022-12-05T07:55:22Z)
Sampling in Constrained Domains with Orthogonal-Space Variational Gradient Descent [13.724361914659438]
多様体上のサンプリングのための直交空間勾配流(O-Gradient)を設計した新しい変分フレームワークを提案する。我々は、O-Gradient が目標制約分布に収束し、弱条件下では、$widetildeO (1/textthe number of iterations)$$で収束することを証明した。
論文参考訳（メタデータ） (2022-10-12T17:51:13Z)
Efficient Natural Gradient Descent Methods for Large-Scale Optimization Problems [1.2891210250935146]
本研究では,状態空間における一般測度に対する自然勾配降下方向の効率的な計算法を提案する。我々の手法は、最小二乗問題に対する解として、自然勾配の方向を表すことに依存している。大規模な空間に対して、ワッサーシュタイン自然勾配パラメータを含むいくつかの自然勾配降下を確実に計算できる。
論文参考訳（メタデータ） (2022-02-13T07:32:17Z)
Depth Without the Magic: Inductive Bias of Natural Gradient Descent [1.020554144865699]
勾配降下では、モデルをパラメータ化する方法を変えることで、大幅に異なる最適化軌道が導かれる。深い線形ネットワークにおける自然勾配流の挙動を,ロジスティックな損失と深い行列因数分解の下で分離可能な分類のために特徴づける。本研究では,自然勾配降下が一般化に失敗する学習問題が存在する一方で,適切なアーキテクチャによる勾配降下が良好に動作することを示す。
論文参考訳（メタデータ） (2021-11-22T21:20:10Z)
Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-11-18T18:52:08Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。