論文の概要: ResNet-like Architecture with Low Hardware Requirements

• arxiv url: http://arxiv.org/abs/2009.07190v2
• Date: Wed, 21 Oct 2020 16:28:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 06:24:04.860467
• Title: ResNet-like Architecture with Low Hardware Requirements
• Title（参考訳）: ハードウェア要件の少ないresnetライクなアーキテクチャ
• Authors: Elena Limonova, Daniil Alfonso, Dmitry Nikolaev, Vladimir V. Arlazarov
• Abstract要約: 特定のデバイス上での計算をより効率的にするために、ニューロンモデルを修正します。 ResNetのほとんどのレイヤでは、実装に必要なロジックゲートが2.1～2.9倍少なく、レイテンシが15～30%低い。
• 参考スコア（独自算出の注目度）: 0.9135092203041721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most computationally intensive parts in modern recognition systems is an inference of deep neural networks that are used for image classification, segmentation, enhancement, and recognition. The growing popularity of edge computing makes us look for ways to reduce its time for mobile and embedded devices. One way to decrease the neural network inference time is to modify a neuron model to make it moreefficient for computations on a specific device. The example ofsuch a model is a bipolar morphological neuron model. The bipolar morphological neuron is based on the idea of replacing multiplication with addition and maximum operations. This model has been demonstrated for simple image classification with LeNet-like architectures [1]. In the paper, we introduce a bipolar morphological ResNet (BM-ResNet) model obtained from a much more complex ResNet architecture by converting its layers to bipolar morphological ones. We apply BM-ResNet to image classification on MNIST and CIFAR-10 datasets with only a moderate accuracy decrease from 99.3% to 99.1% and from 85.3% to 85.1%. We also estimate the computational complexity of the resulting model. We show that for the majority of ResNet layers, the considered model requires 2.1-2.9 times fewer logic gates for implementation and 15-30% lower latency.
• Abstract（参考訳）: 現代の認識システムにおいて最も計算集約的な部分の1つは、画像分類、セグメンテーション、エンハンスメント、認識に使用されるディープニューラルネットワークの推論である。 エッジコンピューティングの人気が高まる中、モバイルや組み込みデバイスに費やす時間を短縮する方法を模索しています。 ニューラルネットワークの推論時間を短縮する1つの方法は、特定のデバイスでの計算をより効率的にするために、ニューロンモデルを変更することである。 そのようなモデルの例は双極性形態ニューロンモデルである。 バイポーラモルフォロジーニューロンは、乗法を加算演算と最大演算に置き換えるという考えに基づいている。 このモデルは、lenet-like architectures [1] による単純な画像分類のために実証されている。 本稿では,より複雑なresnetアーキテクチャから得られたバイポーラモルフォロジーresnet(bm-resnet)モデルを,その層をバイポーラモルフォロジーに変換して紹介する。 bm-resnetをmnistとcifar-10のデータセットの画像分類に適用し、精度は99.3%から99.1%、85.3%から85.1%に低下した。 また,結果モデルの計算複雑性を推定する。 resnet層の大部分では、実装に2.1-2.9倍のロジックゲートと15-30%のレイテンシーが要求される。

関連論文リスト

• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• A priori compression of convolutional neural networks for wave simulators [0.0]
  現在のニューラルネットワークの設計には数百万のパラメータが含まれており、メモリに制限のあるデバイスにそのような複雑なモデルをインストールすることは困難である。 本稿では,ニューラルネットワークのトレーニングに先立って,畳み込み層を圧縮したテンソル形式,先行処理を提案する。 提案手法は,訓練可能なパラメータが少なく,メモリフットプリントも少ない古典的畳み込み層として同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-04-11T04:18:59Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks [16.518667634574026]
  精度を最大化する固定ネットワークアーキテクチャのニューロン(フィルタ)構成を探索する。 パラメータの変化に関して各層のニューロン(フィルタ)数の変化をパラメータ化することにより、任意のサイズのアーキテクチャを効率的にスケールすることができる。
  論文  参考訳（メタデータ） (2020-06-23T08:14:02Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)
• Deep Learning in Memristive Nanowire Networks [0.0]
  MN3(Memristive Nanowire Neural Network)と呼ばれる新しいハードウェアアーキテクチャは、非常に広くスパースなニューラルネットワーク層をシミュレートするための効率的なアーキテクチャとして最近紹介された。 我々は,MN3が合成,勾配伝搬,重み更新を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-03-03T20:11:33Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。