論文の概要: Efficient Synthesis of Compact Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2004.08704v1
• Date: Sat, 18 Apr 2020 21:20:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 05:09:48.443328
• Title: Efficient Synthesis of Compact Deep Neural Networks
• Title（参考訳）: コンパクト深層ニューラルネットワークの効率的な合成
• Authors: Wenhan Xia, Hongxu Yin, Niraj K. Jha
• Abstract要約: ディープニューラルネットワーク(DNN)は、無数の機械学習アプリケーションにデプロイされている。 これらの大規模で深いモデルは、膨大な計算コスト、高いメモリ帯域幅、長いレイテンシのために、現実世界のアプリケーションには適さないことが多い。 本稿では,DNN/LSTMモデルの自動合成手法について概説する。
• 参考スコア（独自算出の注目度）: 17.362146401041528
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have been deployed in myriad machine learning applications. However, advances in their accuracy are often achieved with increasingly complex and deep network architectures. These large, deep models are often unsuitable for real-world applications, due to their massive computational cost, high memory bandwidth, and long latency. For example, autonomous driving requires fast inference based on Internet-of-Things (IoT) edge devices operating under run-time energy and memory storage constraints. In such cases, compact DNNs can facilitate deployment due to their reduced energy consumption, memory requirement, and inference latency. Long short-term memories (LSTMs) are a type of recurrent neural network that have also found widespread use in the context of sequential data modeling. They also face a model size vs. accuracy trade-off. In this paper, we review major approaches for automatically synthesizing compact, yet accurate, DNN/LSTM models suitable for real-world applications. We also outline some challenges and future areas of exploration.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、無数の機械学習アプリケーションにデプロイされている。 しかし、その精度の進歩は、ますます複雑で深いネットワークアーキテクチャによってしばしば達成される。 これらの大規模で深いモデルは、膨大な計算コスト、高いメモリ帯域幅、長いレイテンシのために、現実世界のアプリケーションには適さないことが多い。 例えば、自律運転には、実行時のエネルギとメモリストレージ制約の下で動作しているIoT(Internet-of-Things)エッジデバイスに基づく高速推論が必要である。 このような場合、コンパクトなDNNは、エネルギー消費の削減、メモリ要求、および推論遅延によるデプロイメントを容易にする。 長期記憶(Long Short-term memory、LSTM)は、逐次データモデリングの文脈で広く使われているリカレントニューラルネットワークの一種である。 また、モデルサイズと精度のトレードオフも直面する。 本稿では,実世界のアプリケーションに適したコンパクトかつ高精度なdnn/lstmモデルの自動合成手法について検討する。 また,探索の課題と今後の課題についても概説する。

関連論文リスト

• Quantization-aware Neural Architectural Search for Intrusion Detection [5.010685611319813]
  本稿では、最先端NNの1000倍の規模を持つ量子化ニューラルネットワーク(NN)モデルを自動的に訓練し、進化させる設計手法を提案する。 FPGAにデプロイする際にこのネットワークが利用するLUTの数は2.3倍から8.5倍と小さく、性能は以前の作業に匹敵する。
  論文  参考訳（メタデータ） (2023-11-07T18:35:29Z)
• Dynamic Early Exiting Predictive Coding Neural Networks [3.542013483233133]
  より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。 予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。 我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
  論文  参考訳（メタデータ） (2023-09-05T08:00:01Z)
• Model Blending for Text Classification [0.15229257192293197]
  テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
  論文  参考訳（メタデータ） (2022-08-05T05:07:45Z)
• Object Detection with Spiking Neural Networks on Automotive Event Data [0.0]
  我々は、イベントカメラから直接スパイキングニューラルネットワーク(SNN)を訓練し、高速で効率的な自動車組込みアプリケーションを設計することを提案する。 本稿では,2つの自動車イベントデータセットの実験を行い,スパイクニューラルネットワークのための最先端の分類結果を確立した。
  論文  参考訳（メタデータ） (2022-05-09T14:39:47Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Learning from Event Cameras with Sparse Spiking Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は現在、コンピュータビジョン問題のデファクトソリューションとなっている。 イベントカメラとスピーキングニューラルネットワーク(SNN)を用いたエンドツーエンドの生物学的インスパイアされたアプローチを提案する。 この手法は、一般的なディープラーニングフレームワークPyTorchを使用して、イベントデータに直接スパーススパイクニューラルネットワークのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-26T13:52:01Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• ShiftAddNet: A Hardware-Inspired Deep Network [87.18216601210763]
  ShiftAddNetはエネルギー効率のよい乗算レスディープニューラルネットワークである。 エネルギー効率のよい推論とトレーニングの両方につながるが、表現能力は損なわれない。 ShiftAddNetは、DNNのトレーニングと推論において、80%以上のハードウェア量子化されたエネルギーコストを積極的に削減し、同等またはより良い精度を提供する。
  論文  参考訳（メタデータ） (2020-10-24T05:09:14Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。