論文の概要: Speeding-Up Back-Propagation in DNN: Approximate Outer Product with
Memory
- arxiv url: http://arxiv.org/abs/2110.09164v1
- Date: Mon, 18 Oct 2021 10:32:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 17:50:10.898224
- Title: Speeding-Up Back-Propagation in DNN: Approximate Outer Product with
Memory
- Title(参考訳): dnnにおける高速化バックプロパゲーション:メモリ付き近似外積
- Authors: Eduin E. Hernandez, Stefano Rini, Tolga M. Duman
- Abstract要約: 我々は,Mem-AOPGDにより,計算複雑性と精度の大幅な改善が実際に達成できることを実験的に示した。
Mem-AOPGD は、バックプロパゲーションを含む行列乗法に関わる外部積の部分集合のみを考慮し、勾配降下の近似を実装している。
- 参考スコア(独自算出の注目度): 26.687031691516797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, an algorithm for approximate evaluation of back-propagation in
DNN training is considered, which we term Approximate Outer Product Gradient
Descent with Memory (Mem-AOP-GD). The Mem-AOP-GD algorithm implements an
approximation of the stochastic gradient descent by considering only a subset
of the outer products involved in the matrix multiplications that encompass
backpropagation. In order to correct for the inherent bias in this
approximation, the algorithm retains in memory an accumulation of the outer
products that are not used in the approximation. We investigate the performance
of the proposed algorithm in terms of DNN training loss under two design
parameters: (i) the number of outer products used for the approximation, and
(ii) the policy used to select such outer products. We experimentally show that
significant improvements in computational complexity as well as accuracy can
indeed be obtained through Mem-AOPGD.
- Abstract(参考訳): 本稿では,dnnトレーニングにおけるバックプロパゲーションの近似評価アルゴリズムについて検討し,メモリ付き外積勾配降下(mem-aop-gd)と呼ぶ。
Mem-AOP-GDアルゴリズムは、バックプロパゲーションを含む行列乗算に関わる外部積のサブセットのみを考慮し、確率勾配勾配の近似を実装する。
この近似の固有のバイアスを補正するために、アルゴリズムは近似に使われない外部積の蓄積を記憶に残している。
2つの設計パラメータの下で,提案アルゴリズムの性能をDNNトレーニング損失の観点から検討する。
(i)近似に用いる外積の数、及び
(二)これらの外産品の選択に用いた政策
我々は,Mem-AOPGDにより計算複雑性と精度の大幅な改善が実際に達成できることを実験的に示した。
関連論文リスト
- An Adaptive Dimension Reduction Estimation Method for High-dimensional
Bayesian Optimization [6.79843988450982]
BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。
私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。
数値実験により,困難シナリオにおける本手法の有効性が検証された。
論文 参考訳(メタデータ) (2024-03-08T16:21:08Z) - Online estimation of the inverse of the Hessian for stochastic
optimization with application to universal stochastic Newton algorithms [0.0]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。
Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。
とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文 参考訳(メタデータ) (2024-01-15T13:58:30Z) - n-Step Temporal Difference Learning with Optimal n [3.4944387787356344]
我々は,n段階時間差(TD)学習アルゴリズムにおいて,nの最適値を求める問題を考察する。
同時摂動近似を含むモデルフリー最適化手法を用いて最適nを求める。
任意の初期値に対して、n の最適値は SDPSA で達成されることを示す。
論文 参考訳(メタデータ) (2023-03-13T12:44:32Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Active Nearest Neighbor Regression Through Delaunay Refinement [79.93030583257597]
近接回帰に基づく能動関数近似アルゴリズムを提案する。
我々のActive Nearest Neighbor Regressor (ANNR) は計算幾何学の Voronoi-Delaunay フレームワークに頼り、空間を一定の関数値のセルに分割する。
論文 参考訳(メタデータ) (2022-06-16T10:24:03Z) - Sample-Efficient Reinforcement Learning for POMDPs with Linear Function
Approximations [130.66193083412716]
本稿では,関数近似と部分観測可能性の緊張に対処する。
最適ポリシーと値関数は有限メモリヒルベルト・ベルマン作用素の列によって特徴づけられることを示す。
本稿では、カーネル空間(RKHS)の埋め込みを再現することで、これらの演算子の楽観的な推定値を構成するRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - An AI-Assisted Design Method for Topology Optimization Without
Pre-Optimized Training Data [68.8204255655161]
トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。
設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
論文 参考訳(メタデータ) (2020-12-11T14:33:27Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z) - A Robust Matching Pursuit Algorithm Using Information Theoretic Learning [37.968665739578185]
情報理論学習(ITL)に基づく新しいOMPアルゴリズムの開発
シミュレーションおよび実世界の両方のデータに対する実験結果は、データ復元、画像再構成、分類において提案したOMPアルゴリズムの優位性を一貫して示している。
論文 参考訳(メタデータ) (2020-05-10T01:36:00Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳(メタデータ) (2020-03-05T14:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。