論文の概要: Speeding-Up Back-Propagation in DNN: Approximate Outer Product with Memory

• arxiv url: http://arxiv.org/abs/2110.09164v1
• Date: Mon, 18 Oct 2021 10:32:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 17:50:10.898224
• Title: Speeding-Up Back-Propagation in DNN: Approximate Outer Product with Memory
• Title（参考訳）: dnnにおける高速化バックプロパゲーション:メモリ付き近似外積
• Authors: Eduin E. Hernandez, Stefano Rini, Tolga M. Duman
• Abstract要約: 我々は,Mem-AOPGDにより,計算複雑性と精度の大幅な改善が実際に達成できることを実験的に示した。 Mem-AOPGD は、バックプロパゲーションを含む行列乗法に関わる外部積の部分集合のみを考慮し、勾配降下の近似を実装している。
• 参考スコア（独自算出の注目度）: 26.687031691516797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, an algorithm for approximate evaluation of back-propagation in DNN training is considered, which we term Approximate Outer Product Gradient Descent with Memory (Mem-AOP-GD). The Mem-AOP-GD algorithm implements an approximation of the stochastic gradient descent by considering only a subset of the outer products involved in the matrix multiplications that encompass backpropagation. In order to correct for the inherent bias in this approximation, the algorithm retains in memory an accumulation of the outer products that are not used in the approximation. We investigate the performance of the proposed algorithm in terms of DNN training loss under two design parameters: (i) the number of outer products used for the approximation, and (ii) the policy used to select such outer products. We experimentally show that significant improvements in computational complexity as well as accuracy can indeed be obtained through Mem-AOPGD.
• Abstract（参考訳）: 本稿では,dnnトレーニングにおけるバックプロパゲーションの近似評価アルゴリズムについて検討し,メモリ付き外積勾配降下(mem-aop-gd)と呼ぶ。 Mem-AOP-GDアルゴリズムは、バックプロパゲーションを含む行列乗算に関わる外部積のサブセットのみを考慮し、確率勾配勾配の近似を実装する。 この近似の固有のバイアスを補正するために、アルゴリズムは近似に使われない外部積の蓄積を記憶に残している。 2つの設計パラメータの下で,提案アルゴリズムの性能をDNNトレーニング損失の観点から検討する。 (i)近似に用いる外積の数、及び (二)これらの外産品の選択に用いた政策 我々は,Mem-AOPGDにより計算複雑性と精度の大幅な改善が実際に達成できることを実験的に示した。

関連論文リスト

• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• An Adaptive Dimension Reduction Estimation Method for High-dimensional Bayesian Optimization [6.79843988450982]
  BOを高次元設定に拡張するための2段階最適化フレームワークを提案する。 私たちのアルゴリズムは、これらのステップを並列またはシーケンスで操作する柔軟性を提供します。 数値実験により,困難シナリオにおける本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-03-08T16:21:08Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms [4.389938747401259]
  本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。 とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
  論文  参考訳（メタデータ） (2024-01-15T13:58:30Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• A Robust Matching Pursuit Algorithm Using Information Theoretic Learning [37.968665739578185]
  情報理論学習(ITL)に基づく新しいOMPアルゴリズムの開発 シミュレーションおよび実世界の両方のデータに対する実験結果は、データ復元、画像再構成、分類において提案したOMPアルゴリズムの優位性を一貫して示している。
  論文  参考訳（メタデータ） (2020-05-10T01:36:00Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。