Fugu-MT 論文翻訳(概要): Growing Artificial Neural Networks

論文の概要: Growing Artificial Neural Networks

arxiv url: http://arxiv.org/abs/2006.06629v1
Date: Thu, 11 Jun 2020 17:25:51 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 09:37:08.230616
Title: Growing Artificial Neural Networks
Title（参考訳）: 成長する人工ニューラルネットワーク
Authors: John Mixter and Ali Akoglu
Abstract要約: プルーニングは、低SWaPハードウェアに適合するニューラルネットワークのサイズを減らすための正当な方法である。本稿では,ネットワークを起伏させるのではなく,成長する人工神経新生(ANG)アルゴリズムを提案する。 ANGはトレーニングデータを使用して、実際のトレーニングが行われる前に、レイヤ間の重要な接続を決定する。
参考スコア（独自算出の注目度）: 0.9475982252982436
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pruning is a legitimate method for reducing the size of a neural network to fit in low SWaP hardware, but the networks must be trained and pruned offline. We propose an algorithm, Artificial Neurogenesis (ANG), that grows rather than prunes the network and enables neural networks to be trained and executed in low SWaP embedded hardware. ANG accomplishes this by using the training data to determine critical connections between layers before the actual training takes place. Our experiments use a modified LeNet-5 as a baseline neural network that achieves a test accuracy of 98.74% using a total of 61,160 weights. An ANG grown network achieves a test accuracy of 98.80% with only 21,211 weights.
Abstract（参考訳）: プルーニングは、低SWaPハードウェアに適合するニューラルネットワークのサイズを減らすための正当な方法であるが、ネットワークをトレーニングし、オフラインでプルーニングする必要がある。本稿では,ニューラルネットワークを低SWaP組み込みハードウェアでトレーニングし,実行可能にするアルゴリズムである人工神経新生(ANG)を提案する。 ANGはトレーニングデータを使用して、実際のトレーニングが行われる前にレイヤ間の重要な接続を決定する。我々の実験では、61,160重量で98.74%の精度を達成できるベースラインニューラルネットワークとして改良されたLeNet-5を使用しました。 ANG成長ネットワークは、21,211重量の試験精度が98.80%に達する。

関連論文リスト

Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文参考訳（メタデータ） (2024-05-07T12:20:12Z)
Set-Based Training for Neural Network Verification [8.97708612393722]
小さな入力摂動はニューラルネットワークの出力に大きな影響を与える。安全クリティカルな環境では、入力はノイズの多いセンサーデータを含むことが多い。我々は、堅牢なニューラルネットワークをトレーニングして正式な検証を行う、エンドツーエンドのセットベーストレーニング手順を採用している。
論文参考訳（メタデータ） (2024-01-26T15:52:41Z)
Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2023-01-13T19:52:30Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Adder Neural Networks [75.54239599016535]
我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
論文参考訳（メタデータ） (2021-05-29T04:02:51Z)
Post-training deep neural network pruning via layer-wise calibration [70.65691136625514]
本論文では,自動合成フラクタル画像に基づくコンピュータビジョンモデルに対するデータフリーな拡張を提案する。実データを使用する場合は、トレーニング後の設定で65%の間隔で8ビットの精度でImageNet上のResNet50モデルを取得できます。
論文参考訳（メタデータ） (2021-04-30T14:20:51Z)
Bayesian Neural Networks at Scale: A Performance Analysis and Pruning Study [2.3605348648054463]
本研究は,BNNを大規模にトレーニングする際の課題に対処するために,分散トレーニングを用いた高性能コンピューティングの利用について検討する。我々は,Cray-XC40クラスタ上でのVGG-16とResnet-18モデルのトレーニング性能とスケーラビリティの比較を行った。
論文参考訳（メタデータ） (2020-05-23T23:15:34Z)
A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文参考訳（メタデータ） (2020-04-15T17:52:48Z)
Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文参考訳（メタデータ） (2020-01-01T15:04:43Z)
AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。本稿では,AdderNets のバックプロパゲーション手法を提案する。その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
論文参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。