論文の概要: Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates
- arxiv url: http://arxiv.org/abs/2210.08494v1
- Date: Sun, 16 Oct 2022 09:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 22:09:16.883728
- Title: Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates
- Title（参考訳）: ブランドの新K-FAC:オンライン分解アップデートでK-FACを高速化
- Authors: Constantin Octavian Puiu
- Abstract要約: 本稿では,K因子の指数平均構成パラダイムを活用し,オンライン数値線形代数手法を用いて,K因子の逆数推定方法を提案する。
RS-KFACの逆誤差を最小限のCPUオーバヘッドで低減できることを示す。
提案手法,修正手法,RS-KFACに基づいて,汎用的なディープニューラルネットを最適化するための3つの実用的なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: K-FAC (arXiv:1503.05671, arXiv:1602.01407) is a tractable implementation of
Natural Gradient (NG) for Deep Learning (DL), whose bottleneck is computing the
inverses of the so-called ``Kronecker-Factors'' (K-factors). RS-KFAC
(arXiv:2206.15397) is a K-FAC improvement which provides a cheap way of
estimating the K-factors inverses. In this paper, we exploit the
exponential-average construction paradigm of the K-factors, and use online
numerical linear algebra techniques to propose an even cheaper (but less
accurate) way of estimating the K-factors inverses for Fully Connected layers.
Numerical results show RS-KFAC's inversion error can be reduced with minimal
CPU overhead by adding our proposed update to it. Based on the proposed
procedure, a correction to it, and RS-KFAC, we propose three practical
algorithms for optimizing generic Deep Neural Nets. Numerical results show that
two of these outperform RS-KFAC for any target test accuracy on CIFAR10
classification with a slightly modified version of VGG16_bn. Our proposed
algorithms achieve 91$\%$ test accuracy faster than SENG (the state of art
implementation of empirical NG for DL; arXiv:2006.05924) but underperform it
for higher test-accuracy.
- Abstract（参考訳）: K-FAC (arXiv:1503.05671, arXiv:1602.01407) は、"Kronecker-Factors"(K因子)の逆数を計算することのボトルネックとなる、ディープラーニング(DL)のための自然勾配(NG)の実装である。
RS-KFAC (arXiv:2206.15397) はK-FACの改良であり、K-因子の逆数推定の安価な方法を提供する。
本稿では,k-ファクターの指数平均構成パラダイムを活用し,オンライン数値線形代数手法を用いて,完全連結層に対するk-ファクター逆推定法を提案する。
RS-KFACの逆誤差を最小限のCPUオーバヘッドで低減できることを示す。
提案手法,修正法,rs-kfacに基づき,汎用深層ニューラルネットワークの最適化のための3つの実用的なアルゴリズムを提案する。
数値実験の結果, rs-kfacはcifar10分類において, vgg16_bnの微修正版で, 目標試験精度に優れることがわかった。
提案アルゴリズムは,SENG よりも 91$\%$テスト精度 (DL の実証NG 実装の現状; arXiv:2006.05924) が速いが,高いテスト精度で性能が劣る。
関連論文リスト
- Structured Inverse-Free Natural Gradient: Memory-Efficient & Numerically-Stable KFAC [26.275682325827706]
KFACのような二階法はニューラルネットトレーニングに有用である。
しかし、Kronecker因子は高密度であるため、メモリ非効率であることが多い。
我々は、逆フリーなKFAC更新を定式化し、Kronecker因子の構造を課す。
論文 参考訳（メタデータ） (2023-12-09T23:13:32Z) - Kronecker-Factored Approximate Curvature for Modern Neural Network
Architectures [85.76673783330334]
線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている
重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。
グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
論文 参考訳（メタデータ） (2023-11-01T16:37:00Z) - Scalable K-FAC Training for Deep Neural Networks with Distributed
Preconditioning [19.04755792575149]
本稿では,深層ニューラルネットワーク(DNN)トレーニングのための分散プレコンディショニング手法DP-KFACを提案する。
DP-KFACは計算オーバーヘッドを1.55x-1.65x、通信コストを2.79x-3.15x、メモリフットプリントを1.14x-1.47x削減する。
論文 参考訳（メタデータ） (2022-06-30T09:22:25Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Large-scale Optimization of Partial AUC in a Range of False Positive
Rates [51.12047280149546]
ROC曲線 (AUC) の下の領域は、機械学習において最も広く使われている分類モデルのパフォーマンス指標の1つである。
近年の封筒平滑化技術に基づく効率的な近似勾配降下法を開発した。
提案アルゴリズムは,効率のよい解法を欠くランク付けされた範囲損失の和を最小化するためにも利用できる。
論文 参考訳（メタデータ） (2022-03-03T03:46:18Z) - Gradient Descent on Neurons and its Link to Approximate Second-Order
Optimization [0.913755431537592]
Kronecker-Factored, block-diagonal curvature estimates (KFAC) は真の2次更新よりも有意に優れていることを示す。
また、KFACは重みよりも勾配降下を行う一階勾配アルゴリズムを近似することを示した。
論文 参考訳（メタデータ） (2022-01-28T17:06:26Z) - Efficient Approximations of the Fisher Matrix in Neural Networks using
Kronecker Product Singular Value Decomposition [0.0]
自然勾配降下法は, 通常の勾配降下法よりも効率よく目的関数を最小化できることを示した。
ディープニューラルネットワークのトレーニングにおけるこのアプローチのボトルネックは、各イテレーションでFiher Information Matrix (FIM)に対応する大規模な密度の高い線形システムを解くことの禁止コストにある。
これは、正確なFIMまたは経験的なFIMの様々な近似を動機付けている。
最も洗練されたものは KFAC であり、Kronecker による FIM のブロック対角近似を含む。
わずかな追加費用だけで、精度の観点からのKFACの改良が提案されている。
論文 参考訳（メタデータ） (2022-01-25T12:56:17Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z) - An iterative K-FAC algorithm for Deep Learning [0.0]
K-FACの鍵は、フィッシャー情報行列(FIM)をブロック対角行列として近似することであり、各ブロックはクロネッカー因子の逆である。
本稿では,新しい反復K-FACアルゴリズムであるCG-FACを紹介する。
我々は,繰り返しCG-FACの時間とメモリの複雑さが,通常のK-FACアルゴリズムよりもはるかに小さいことを証明した。
論文 参考訳（メタデータ） (2021-01-01T12:04:01Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - ScopeFlow: Dynamic Scene Scoping for Optical Flow [94.42139459221784]
我々は,光流の一般的なトレーニングプロトコルを変更することを提案する。
この改善は、挑戦的なデータをサンプリングする際のバイアスを観察することに基づいている。
トレーニングプロトコルでは,正規化と拡張の双方が減少することが判明した。
論文 参考訳（メタデータ） (2020-02-25T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。