論文の概要: Training Deep Neural Networks with Constrained Learning Parameters
- arxiv url: http://arxiv.org/abs/2009.00540v1
- Date: Tue, 1 Sep 2020 16:20:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-23 00:36:18.428014
- Title: Training Deep Neural Networks with Constrained Learning Parameters
- Title（参考訳）: 制約付き学習パラメータを用いたディープニューラルネットワークのトレーニング
- Authors: Prasanna Date, Christopher D. Carothers, John E. Mitchell, James A.
Hendler, Malik Magdon-Ismail
- Abstract要約: ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。
我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。
CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
- 参考スコア（独自算出の注目度）: 4.917317902787792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Today's deep learning models are primarily trained on CPUs and GPUs. Although
these models tend to have low error, they consume high power and utilize large
amount of memory owing to double precision floating point learning parameters.
Beyond the Moore's law, a significant portion of deep learning tasks would run
on edge computing systems, which will form an indispensable part of the entire
computation fabric. Subsequently, training deep learning models for such
systems will have to be tailored and adopted to generate models that have the
following desirable characteristics: low error, low memory, and low power. We
believe that deep neural networks (DNNs), where learning parameters are
constrained to have a set of finite discrete values, running on neuromorphic
computing systems would be instrumental for intelligent edge computing systems
having these desirable characteristics. To this extent, we propose the
Combinatorial Neural Network Training Algorithm (CoNNTrA), that leverages a
coordinate gradient descent-based approach for training deep learning models
with finite discrete learning parameters. Next, we elaborate on the theoretical
underpinnings and evaluate the computational complexity of CoNNTrA. As a proof
of concept, we use CoNNTrA to train deep learning models with ternary learning
parameters on the MNIST, Iris and ImageNet data sets and compare their
performance to the same models trained using Backpropagation. We use following
performance metrics for the comparison: (i) Training error; (ii) Validation
error; (iii) Memory usage; and (iv) Training time. Our results indicate that
CoNNTrA models use 32x less memory and have errors at par with the
Backpropagation models.
- Abstract（参考訳）: 今日のディープラーニングモデルは、主にCPUとGPUでトレーニングされています。
これらのモデルは誤差が低い傾向にあるが、二重精度浮動小数点学習パラメータにより高電力を消費し、大量のメモリを使用する。
ムーアの法則を超えて、ディープラーニングタスクの大部分はエッジコンピューティングシステム上で実行され、計算ファブリック全体において不可欠な部分を形成する。
その後、このようなシステムのディープラーニングモデルをトレーニングするには、以下の望ましい特性:低エラー、低メモリ、低電力のモデルを生成するように調整し、採用する必要がある。
学習パラメータが有限個の離散値を持つように制約されたディープニューラルネットワーク(DNN)は,これらの望ましい特徴を持つインテリジェントエッジコンピューティングシステムにおいて,ニューロモルフィックコンピューティングシステム上で動作することが有効であると考えている。
そこで我々は,有限個の離散学習パラメータを持つディープラーニングモデルの学習に座標勾配勾配に基づくアプローチを利用する,コンビネータニューラルネットワークトレーニングアルゴリズム(CoNNTrA)を提案する。
次に、理論的基盤について詳述し、CNNTrAの計算複雑性を評価する。
概念実証として,mnist,iris,imagenetのデータセット上で3次学習パラメータを用いたディープラーニングモデルをトレーニングし,そのパフォーマンスをバックプロパゲーションを用いてトレーニングしたモデルと比較する。
比較には以下のパフォーマンス指標を使用します。
(i)訓練ミス
(ii)検証エラー
(iii)メモリ使用量、及び
(iv)訓練時間。
以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
関連論文リスト
- Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳（メタデータ） (2023-12-16T23:23:16Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳（メタデータ） (2023-10-22T23:56:19Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural
Networks [0.9896984829010892]
本稿では,29の古典的ディープニューラルネットワークの計算資源要求を調査し,計算コストを予測するための正確なモデルを構築した。
ネットワーク表現のための新しいネットワーク構造行列を用いた軽量な予測手法DNNAbacusを提案する。
実験の結果, 平均相対誤差 (MRE) は時間に対して0.9%, メモリに関しては2.8%であった。
論文 参考訳（メタデータ） (2022-05-24T14:21:27Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。