Fugu-MT 論文翻訳(概要): Tensor Normal Training for Deep Learning Models

論文の概要: Tensor Normal Training for Deep Learning Models

arxiv url: http://arxiv.org/abs/2106.02925v1
Date: Sat, 5 Jun 2021 15:57:22 GMT
ステータス: 処理完了
システム内更新日: 2021-06-08 17:54:33.982248
Title: Tensor Normal Training for Deep Learning Models
Title（参考訳）: 深層学習モデルのためのテンソル師範訓練
Authors: Yi Ren, Donald Goldfarb
Abstract要約: 我々は,新しい近似的自然勾配法,Normal Trainingを提案し,解析する。実験では、TNTは1次法よりも優れた最適化性能を示した。
参考スコア（独自算出の注目度）: 10.175972095073282
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the predominant use of first-order methods for training deep learning models, second-order methods, and in particular, natural gradient methods, remain of interest because of their potential for accelerating training through the use of curvature information. Several methods with non-diagonal preconditioning matrices, including KFAC and Shampoo, have been proposed and shown to be effective. Based on the so-called tensor normal (TN) distribution, we propose and analyze a brand new approximate natural gradient method, Tensor Normal Training (TNT), which like Shampoo, only requires knowledge on the shape of the training parameters. By approximating the probabilistically based Fisher matrix, as opposed to the empirical Fisher matrix, our method uses the layer-wise covariance of the sampling based gradient as the pre-conditioning matrix. Moreover, the assumption that the sampling-based (tensor) gradient follows a TN distribution, ensures that its covariance has a Kronecker separable structure, which leads to a tractable approximation to the Fisher matrix. Consequently, TNT's memory requirements and per-iteration computational costs are only slightly higher than those for first-order methods. In our experiments, TNT exhibited superior optimization performance to KFAC and Shampoo, and to state-of-the-art first-order methods. Moreover, TNT demonstrated its ability to generalize as well as these first-order methods, using fewer epochs.
Abstract（参考訳）: 深層学習モデルの訓練に一階述語法が主流であるにもかかわらず、二階述語法、特に自然勾配法は、曲率情報を用いて訓練を加速する可能性から興味を引いている。 KFACやシャンプーなど,非対角的プレコンディショニング行列を用いたいくつかの手法が提案され,有効であることが示されている。いわゆるテンソル正規化(tn)分布に基づき、シャンプーと同様にトレーニングパラメータの形状に関する知識のみを必要とする新しい近似自然勾配法であるテンソル正規化訓練(tnt)を提案し、解析する。経験的なフィッシャー行列とは対照的に,確率ベースフィッシャー行列を近似することにより,サンプリングベース勾配の層間共分散をプレコンディショニング行列として用いる。さらに、サンプリングベース(テンソル)勾配がtn分布に従うという仮定は、その共分散がクロネッカー分離可能な構造を持つことを保証し、フィッシャー行列への移動可能な近似をもたらす。したがって、TNTのメモリ要件と1次計算コストは1次法よりもわずかに高い。実験では,KFACやシャンプー,最先端の1次法に優れた最適化性能を示した。さらに、TNTは、より少ないエポックを用いて、これらの一階法と同様に一般化する能力を示した。

関連論文リスト

Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
論文参考訳（メタデータ） (2024-03-06T05:13:28Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文参考訳（メタデータ） (2023-05-31T03:48:49Z)
Geometry-aware training of factorized layers in tensor Tucker format [6.701651480567394]
重みテンソルのタッカー分解の要因を学習するための新しい手法を提案する。トレーニングの提案は, 元の非リファクタリング力学を局所的に近似する上で最適であることが証明された。本稿では,アルゴリズムの理論解析を行い,収束,近似,局所降下保証を示す。
論文参考訳（メタデータ） (2023-05-30T14:20:51Z)
Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis [0.0]
Natural Gradient Descentは、情報幾何学によって動機付けられた2次最適化手法である。一般的に使用されるヘッセン語の代わりにフィッシャー情報マトリックスを使用している。 2階法であることは、膨大な数のパラメータとデータを扱う問題で直接使用されることが不可能である。
論文参考訳（メタデータ） (2023-03-06T04:03:56Z)
A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文参考訳（メタデータ） (2022-02-08T20:01:48Z)
Efficient Approximations of the Fisher Matrix in Neural Networks using Kronecker Product Singular Value Decomposition [0.0]
自然勾配降下法は, 通常の勾配降下法よりも効率よく目的関数を最小化できることを示した。ディープニューラルネットワークのトレーニングにおけるこのアプローチのボトルネックは、各イテレーションでFiher Information Matrix (FIM)に対応する大規模な密度の高い線形システムを解くことの禁止コストにある。これは、正確なFIMまたは経験的なFIMの様々な近似を動機付けている。最も洗練されたものは KFAC であり、Kronecker による FIM のブロック対角近似を含む。わずかな追加費用だけで、精度の観点からのKFACの改良が提案されている。
論文参考訳（メタデータ） (2022-01-25T12:56:17Z)
Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文参考訳（メタデータ） (2021-05-13T04:23:07Z)
Two-Level K-FAC Preconditioning for Deep Learning [7.699428789159717]
ディープラーニングの文脈では、グラディエントDescentの収束を加速するために、多くの最適化手法が勾配共分散情報を使用する。特に、アダグラード(Adagrad)から始まり、一見無限に現れる研究のラインは、いわゆる経験的フィッシャー行列の対角近似の使用を提唱している。特に成功した方法はK-FAC(Kronecker-ed block-factored preconditioner)と呼ばれる方法である。
論文参考訳（メタデータ） (2020-11-01T17:54:21Z)
Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
論文参考訳（メタデータ） (2020-06-11T23:58:18Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。