Fugu-MT 論文翻訳(概要): Covariant Gradient Descent

論文の概要: Covariant Gradient Descent

arxiv url: http://arxiv.org/abs/2504.05279v2
Date: Tue, 08 Apr 2025 20:44:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-10 09:45:08.414022
Title: Covariant Gradient Descent
Title（参考訳）: Covariant Gradient Descent
Authors: Dmitry Guskov, Vitaly Vanchurin,
Abstract要約: 本稿では、任意の座標系と一般曲線付きトレーニング可能空間の整合性を確保するため、勾配降下法の明らかな共変定式化を提案する。 RMSProp,Adam,AdaBeliefなどの一般的な最適化手法は、共変勾配勾配の特別な極限に対応することを示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present a manifestly covariant formulation of the gradient descent method, ensuring consistency across arbitrary coordinate systems and general curved trainable spaces. The optimization dynamics is defined using a covariant force vector and a covariant metric tensor, both computed from the first and second statistical moments of the gradients. These moments are estimated through time-averaging with an exponential weight function, which preserves linear computational complexity. We show that commonly used optimization methods such as RMSProp, Adam and AdaBelief correspond to special limits of the covariant gradient descent (CGD) and demonstrate how these methods can be further generalized and improved.
Abstract（参考訳）: 本稿では、任意の座標系と一般曲線付きトレーニング可能空間の整合性を確保するため、勾配降下法の明らかな共変定式化を提案する。最適化力学は、勾配の第1および第2統計モーメントから計算された共変力ベクトルと共変計量テンソルを用いて定義される。これらのモーメントは指数重み関数による時間計算によって推定され、線形計算複雑性を保っている。 RMSProp,Adam,AdaBeliefなどの一般的な最適化手法は、共変勾配降下(CGD)の特別な限界に対応し、これらの手法をさらに一般化し改善する方法を示す。

関連論文リスト

Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文参考訳（メタデータ） (2024-03-06T22:24:05Z)
Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。本稿では,直感的に設計を記述し,設計選択について説明する。本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文参考訳（メタデータ） (2023-10-31T16:15:13Z)
Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond [33.593203156666746]
分離線形分類に適用された非正規化勾配に基づく学習手順の一般化特性に着目する。この一般化についてさらに統一的な説明をし、実現可能性と自己有界性(self-boundedness)と呼ぶ。これらのケースのいくつかでは、文献における既存の一般化誤差境界に対して、我々の境界は著しく改善される。
論文参考訳（メタデータ） (2022-02-27T19:56:36Z)
Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
論文参考訳（メタデータ） (2021-12-30T00:50:30Z)
Generalized Optimization: A First Step Towards Category Theoretic Learning Theory [1.52292571922932]
我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。これらのアルゴリズムの変換不変性が保存されていることを示す。また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
論文参考訳（メタデータ） (2021-09-20T15:19:06Z)
A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
最適化のための異なる手法を導出できる変分法を導入する。我々は1対1の対応において最適化手法の2つのファミリを導出する。自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
論文参考訳（メタデータ） (2021-06-04T20:21:53Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文参考訳（メタデータ） (2020-07-07T10:05:01Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。