論文の概要: Randomized K-FACs: Speeding up K-FAC with Randomized Numerical Linear Algebra

• arxiv url: http://arxiv.org/abs/2206.15397v1
• Date: Thu, 30 Jun 2022 16:30:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 18:32:41.563290
• Title: Randomized K-FACs: Speeding up K-FAC with Randomized Numerical Linear Algebra
• Title（参考訳）: ランダム化K-FAC:ランダム化数値線形代数によるK-FACの高速化
• Authors: Constantin Octavian Puiu
• Abstract要約: K-FACはクロネッカー因子の逆数を計算する必要性に悩まされている。 一般的に用いられるクロネッカー因子の指数平均構成パラダイムにより、それらの固有スペクトルは崩壊しなければならないことを示す。 我々は、実際にこの崩壊は非常に高速であり、かなりの計算を節約できるという考えを導いたことを数値的に示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: K-FAC is a successful tractable implementation of Natural Gradient for Deep Learning, which nevertheless suffers from the requirement to compute the inverse of the Kronecker factors (through an eigen-decomposition). This can be very time-consuming (or even prohibitive) when these factors are large. In this paper, we theoretically show that, owing to the exponential-average construction paradigm of the Kronecker factors that is typically used, their eigen-spectrum must decay. We show numerically that in practice this decay is very rapid, leading to the idea that we could save substantial computation by only focusing on the first few eigen-modes when inverting the Kronecker-factors. Randomized Numerical Linear Algebra provides us with the necessary tools to do so. Numerical results show we obtain $\approx2.5\times$ reduction in per-epoch time and $\approx3.3\times$ reduction in time to target accuracy. We compare our proposed K-FAC sped-up versions with a more computationally efficient NG implementation, SENG, and observe we perform on par with it.
• Abstract（参考訳）: K-FACはDeep LearningのためのNatural Gradientの実装として成功しており、Kronecker因子の逆を(固有分解を通じて)計算する必要性に悩まされている。 これらの要因が大きい場合、これは非常に時間がかかる(あるいは禁止される)。 本稿では,一般に用いられるクロネッカー因子の指数平均構成パラダイムにより,固有スペクトルが崩壊しなければならないことを理論的に示す。 実際、この崩壊は非常に高速であり、クロネッカー因子を反転させる際に、最初の数個の固有モードのみに焦点を合わせることでかなりの計算量を節約できるという考えを示す。 ランダム化された数値線形代数は、それに必要なツールを提供します。 数値計算の結果, 時間あたりの時間短縮に$\approx2.5\times$と, 精度を目標とする時間短縮に$\approx3.3\times$が得られることがわかった。 提案したK-FACの高速化版と,より計算効率のよいNG実装であるSENGを比較し,それと同等に動作することを観察する。

関連論文リスト

• Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC [26.275682325827706]
  KFACのような二階法はニューラルネットトレーニングに有用である。 しかし、Kronecker因子は高密度であるため、メモリ非効率であることが多い。 我々は、逆フリーなKFAC更新を定式化し、Kronecker因子の構造を課す。
  論文  参考訳（メタデータ） (2023-12-09T23:13:32Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Training normalizing flows with computationally intensive target probability distributions [0.018416014644193065]
  本稿では,REINFORCEアルゴリズムに基づく流れの正規化のための推定器を提案する。 ウォールタイムでは最大10倍高速で、最大30%のメモリを必要とする。
  論文  参考訳（メタデータ） (2023-08-25T10:40:46Z)
• SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric Kernels [69.47358238222586]
  Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。 我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。 双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
  論文  参考訳（メタデータ） (2023-05-15T21:25:35Z)
• Learning Decorrelated Representations Efficiently Using Fast Fourier Transform [3.932322649674071]
  高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。 提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
  論文  参考訳（メタデータ） (2023-01-04T12:38:08Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Eigencurve: Optimal Learning Rate Schedule for SGD on Quadratic Objectives with Skewed Hessian Spectrums [26.44093918424658]
  Eigencurveは、2次目的のSGDの最小収束率(定数まで)を達成することができる学習率スケジュールの最初のファミリーである。 実験結果から,Eigencurveは画像分類タスクにおいて,ステップ崩壊を著しく上回り得ることが示された。 実用的な応用のための2つの単純な学習率スケジューラは、Eigencurveを近似することができる。
  論文  参考訳（メタデータ） (2021-10-27T01:17:53Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Proximal and Federated Random Reshuffling [11.83842808044211]
  ランダムリシャッフルのための2つの新しいアルゴリズムを提案する。 ProxRR と FedRR は複合凸有限和最小化問題を解く。 ProxRRは、各イテレーションの近位演算子を評価するアルゴリズムよりも高速です。
  論文  参考訳（メタデータ） (2021-02-12T18:59:24Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Efficient improper learning for online logistic regression [68.8204255655161]
  サンプル数 n の対数的後悔を持つ任意の正則アルゴリズムは、必然的に B の指数乗法定数を損なうことが知られている。 本研究では、対数的後悔を保ちながら、この指数定数を回避する効率的な不適切なアルゴリズムを設計する。 シュロゲート損失を伴う正規化経験的リスク最小化に基づく新しいアルゴリズムは、O(B log(Bn))として、オーダーO(d2)の1回あたりの時間複雑度で、後悔のスケーリングを満足させる。
  論文  参考訳（メタデータ） (2020-03-18T09:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。