論文の概要: Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction

• arxiv url: http://arxiv.org/abs/2310.10958v1
• Date: Tue, 17 Oct 2023 03:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 17:55:32.192240
• Title: Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction
• Title（参考訳）: 線形予測によるディープニューラルネットワークのトレーニング効率と性能の向上
• Authors: Hejie Ying, Mengmeng Song, Yaohong Tang, Shungen Xiao, Zimin Xiao
• Abstract要約: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNN) have achieved remarkable success in various fields, including computer vision and natural language processing. However, training an effective DNN model still poses challenges. This paper aims to propose a method to optimize the training effectiveness of DNN, with the goal of improving model performance. Firstly, based on the observation that the DNN parameters change in certain laws during training process, the potential of parameter prediction for improving model training efficiency and performance is discovered. Secondly, considering the magnitude of DNN model parameters, hardware limitations and characteristics of Stochastic Gradient Descent (SGD) for noise tolerance, a Parameter Linear Prediction (PLP) method is exploit to perform DNN parameter prediction. Finally, validations are carried out on some representative backbones. Experiment results show that compare to the normal training ways, under the same training conditions and epochs, by employing proposed PLP method, the optimal model is able to obtain average about 1% accuracy improvement and 0.01 top-1/top-5 error reduction for Vgg16, Resnet18 and GoogLeNet based on CIFAR-100 dataset, which shown the effectiveness of the proposed method on different DNN structures, and validated its capacity in enhancing DNN training efficiency and performance.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 しかし、効果的なDNNモデルのトレーニングには依然として課題がある。 本稿では,モデル性能の向上を目的として,dnnのトレーニング効果を最適化する手法を提案する。 まず、訓練過程におけるdnnパラメータが一定の法則で変化するという観測から、モデルのトレーニング効率と性能を改善するためのパラメータ予測の可能性を見出した。 第二に、DNNモデルパラメータの大きさ、ハードウェアの制限、ノイズ耐性のための確率勾配Descent(SGD)の特性を考慮すると、パラメータ線形予測(PLP)法を用いてDNNパラメータ予測を行う。 最後に、いくつかの代表的バックボーン上で検証が行われる。 実験の結果,同じ訓練条件下での通常の訓練方法と比較すると,提案手法を用いて,cifar-100データセットに基づくvgg16,resnet18,googlenetにおける平均1%精度向上と0.01 top-1/top-5誤差低減が得られ,dnnトレーニング効率と性能向上に有効性が示された。

関連論文リスト

• Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML [0.0]
  評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。 ENNは、バックプロパゲーション中に追加評価機能として機能する。
  論文  参考訳（メタデータ） (2024-06-15T08:37:51Z)
• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• Control-Theoretic Techniques for Online Adaptation of Deep Neural Networks in Dynamical Systems [0.0]
  ディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。 多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。 制御理論からDNNパラメータをオンラインで更新する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T16:51:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff [33.91830001268308]
  スパイキングニューラルネットワーク(SNN)は、計算効率を有望に改善する。 現在のSNNトレーニング手法は、主に固定時間ステップアプローチを採用している。 本稿では,効率的な推論を実現するために,推論中にいつでもSNNを終了できるSNNの遮断を検討することを提案する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:09Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• LDP: Learnable Dynamic Precision for Efficient Deep Neural Network Training and Inference [24.431074439663437]
  Learnable Dynamic Precision (LDP) は、トレーニング中の時間的および空間的ダイナミックな精度スケジュールを自動的に学習するフレームワークである。 LDPは、訓練効率の点で、最先端(SOTA)の低精度DNN訓練技術より一貫して優れており、精度のトレードオフも達成している。
  論文  参考訳（メタデータ） (2022-03-15T08:01:46Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• Adaptive Degradation Process with Deep Learning-Driven Trajectory [5.060233857860902]
  RUL(Remaining useful Life)推定は、インテリジェントな予測保守と健康管理の実装において重要な要素である。 本論文では, ハイブリットDNNベースの予後予測モデルを開発し, 適応ドリフトを用いてシステム劣化を特徴づける。 LSTM-CNNエンコーダデコーダを開発し、ノイズ係数とドリフト係数を併用して将来の劣化軌道を予測し、ベイズ推論により適応ドリフトを更新する。
  論文  参考訳（メタデータ） (2021-03-22T06:00:42Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。