論文の概要: Dynamic Early Exiting Predictive Coding Neural Networks

• arxiv url: http://arxiv.org/abs/2309.02022v1
• Date: Tue, 5 Sep 2023 08:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 16:04:26.707026
• Title: Dynamic Early Exiting Predictive Coding Neural Networks
• Title（参考訳）: 動的早期退避型予測符号化ニューラルネットワーク
• Authors: Alaa Zniber, Ouassim Karrakchou, Mounir Ghogho
• Abstract要約: より小型で正確なデバイスを求めると、Deep Learningモデルはデプロイするには重すぎる。 予測符号化理論と動的早期退避に基づく浅層双方向ネットワークを提案する。 我々は,CIFAR-10上の画像分類におけるVGG-16と同等の精度を,より少ないパラメータと少ない計算量で達成した。
• 参考スコア（独自算出の注目度）: 3.542013483233133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Internet of Things (IoT) sensors are nowadays heavily utilized in various real-world applications ranging from wearables to smart buildings passing by agrotechnology and health monitoring. With the huge amounts of data generated by these tiny devices, Deep Learning (DL) models have been extensively used to enhance them with intelligent processing. However, with the urge for smaller and more accurate devices, DL models became too heavy to deploy. It is thus necessary to incorporate the hardware's limited resources in the design process. Therefore, inspired by the human brain known for its efficiency and low power consumption, we propose a shallow bidirectional network based on predictive coding theory and dynamic early exiting for halting further computations when a performance threshold is surpassed. We achieve comparable accuracy to VGG-16 in image classification on CIFAR-10 with fewer parameters and less computational complexity.
• Abstract（参考訳）: iot(internet of things, モノのインターネット)センサーは、ウェアラブルから農業技術や健康モニタリングによるスマートビルディングまで、さまざまな現実のアプリケーションで広く利用されている。 これらの小さなデバイスによって生成される膨大なデータにより、Deep Learning(DL)モデルはインテリジェントな処理でそれらを強化するために広く利用されている。 しかし、より小型で正確なデバイスが求められたため、dlモデルはデプロイするには重すぎた。 したがって、ハードウェアの限られたリソースを設計プロセスに組み込む必要がある。 そこで我々は,その効率性と低消費電力で知られている人間の脳にインスパイアされた,予測符号化理論と動的早期終了に基づく浅層双方向ネットワークを提案し,性能閾値を超えた場合のさらなる計算を停止させる。 CIFAR-10上の画像分類におけるVGG-16の精度は,パラメータが少なく,計算量も少ない。

関連論文リスト

• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• Quantization-aware Neural Architectural Search for Intrusion Detection [5.010685611319813]
  本稿では、最先端NNの1000倍の規模を持つ量子化ニューラルネットワーク(NN)モデルを自動的に訓練し、進化させる設計手法を提案する。 FPGAにデプロイする際にこのネットワークが利用するLUTの数は2.3倍から8.5倍と小さく、性能は以前の作業に匹敵する。
  論文  参考訳（メタデータ） (2023-11-07T18:35:29Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• From DNNs to GANs: Review of efficient hardware architectures for deep learning [0.0]
  ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。 DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。 異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
  論文  参考訳（メタデータ） (2021-06-06T13:23:06Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Efficient Low-Latency Dynamic Licensing for Deep Neural Network Deployment on Edge Devices [0.0]
  エッジデバイス上でのディープニューラルネットワークの展開と処理を解決するアーキテクチャを提案する。 このアーキテクチャを採用することで、デバイスの低レイテンシモデル更新が可能になる。
  論文  参考訳（メタデータ） (2021-02-24T09:36:39Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
  ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。 ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。 本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
  論文  参考訳（メタデータ） (2020-04-10T16:15:55Z)
• An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices [58.62801151916888]
  パターンと接続性を組み合わせた新しい空間空間,すなわちパターンベースの空間空間を導入し,高度に正確かつハードウェアに親しみやすいものにした。 新たなパターンベースの空間性に対する我々のアプローチは,モバイルプラットフォーム上での高効率DNN実行のためのコンパイラ最適化に自然に適合する。
  論文  参考訳（メタデータ） (2020-01-20T16:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。