論文の概要: RNNPool: Efficient Non-linear Pooling for RAM Constrained Inference

• arxiv url: http://arxiv.org/abs/2002.11921v2
• Date: Thu, 22 Oct 2020 21:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:57:00.535511
• Title: RNNPool: Efficient Non-linear Pooling for RAM Constrained Inference
• Title（参考訳）: RNNPool:RAM制約推論のための効率的な非線形プール
• Authors: Oindrila Saha, Aditya Kusupati, Harsha Vardhan Simhadri, Manik Varma, Prateek Jain
• Abstract要約: RNNPoolは、リカレントニューラルネットワーク(RNN)に基づく新しいプール演算子である。 RNNPoolレイヤは、画像分類や顔検出といった標準的な視覚タスクに適用した場合、MobileNetsやDenseNetのようなさまざまなアーキテクチャの複数のブロックを効果的に置き換えることができる。 我々は、RNNPoolを標準のS3FDアーキテクチャで使用し、256KB未満のRAMを持つARM Cortex-M4クラスマイクロコントローラの最先端MAPを実現する。
• 参考スコア（独自算出の注目度）: 24.351577383531616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Convolutional Neural Networks (CNNs) designed for computer vision tasks tend to have large intermediate activation maps. These require large working memory and are thus unsuitable for deployment on resource-constrained devices typically used for inference on the edge. Aggressively downsampling the images via pooling or strided convolutions can address the problem but leads to a significant decrease in accuracy due to gross aggregation of the feature map by standard pooling operators. In this paper, we introduce RNNPool, a novel pooling operator based on Recurrent Neural Networks (RNNs), that efficiently aggregates features over large patches of an image and rapidly downsamples activation maps. Empirical evaluation indicates that an RNNPool layer can effectively replace multiple blocks in a variety of architectures such as MobileNets, DenseNet when applied to standard vision tasks like image classification and face detection. That is, RNNPool can significantly decrease computational complexity and peak memory usage for inference while retaining comparable accuracy. We use RNNPool with the standard S3FD architecture to construct a face detection method that achieves state-of-the-art MAP for tiny ARM Cortex-M4 class microcontrollers with under 256 KB of RAM. Code is released at https://github.com/Microsoft/EdgeML.
• Abstract（参考訳）: コンピュータビジョンタスク用に設計された標準畳み込みニューラルネットワーク(cnns)は、大きな中間活性化マップを持つ傾向がある。 これらは大きなワーキングメモリを必要とするため、通常はエッジでの推論に使用されるリソース制約のあるデバイスへのデプロイには適さない。 プーリングやストライド畳み込みによる画像の加重サンプリングはこの問題に対処できるが、標準的なプーリング演算子による特徴写像の集約による精度の大幅な低下につながる。 本稿では,リカレントニューラルネットワーク(recurrent neural networks:rnns)に基づく新たなプーリングオペレータであるrnnpoolを提案する。 実証的な評価は、画像分類や顔検出といった標準的な視覚タスクに適用した場合、RNNPool層がMobileNetsやDenseNetといったさまざまなアーキテクチャの複数のブロックを効果的に置き換えることができることを示している。 すなわち、RNNPoolは、同等の精度を維持しながら、推論の計算複雑性とピークメモリ使用量を著しく削減することができる。 我々は、RNNPoolを標準のS3FDアーキテクチャで使用し、256KB以下のRAMを持つARM Cortex-M4クラスマイクロコントローラの最先端MAPを実現する。 コードはhttps://github.com/Microsoft/EdgeMLで公開されている。

関連論文リスト

• Rapid-INR: Storage Efficient CPU-free DNN Training Using Implicit Neural Representation [7.539498729072623]
  Implicit Neural Representation (INR) は、複雑な形状や物体を、その形状や表面構造を明確に定義せずに表現するための革新的なアプローチである。 従来の研究では、画像圧縮のINRとしてニューラルネットワークを使用することの有効性が実証されており、JPEGのような従来の手法に匹敵する性能を示している。 本稿では、画像のエンコーディングと圧縮にINRを利用する新しいアプローチであるRapid-INRを紹介し、コンピュータビジョンタスクにおけるニューラルネットワークトレーニングを高速化する。
  論文  参考訳（メタデータ） (2023-06-29T05:49:07Z)
• Pooling Revisited: Your Receptive Field is Suboptimal [35.11562214480459]
  受信フィールドのサイズと形状は、ネットワークがどのようにローカル情報を集約するかを決定する。 我々はDynOPoolと呼ばれるシンプルだが効果的な動的最適化プール操作を提案する。 実験の結果,学習可能なリサイズモジュールを備えたモデルは,画像分類やセマンティックセグメンテーションにおいて,複数のデータセットのベースラインネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T17:03:40Z)
• a novel attention-based network for fast salient object detection [14.246237737452105]
  現在の有向物体検出ネットワークにおいて、最も一般的な方法はU字型構造を用いることである。 3つのコントリビューションを持つ新しい深層畳み込みネットワークアーキテクチャを提案する。 提案手法は, 精度を損なうことなく, 原サイズの1/3まで圧縮できることを示した。
  論文  参考訳（メタデータ） (2021-12-20T12:30:20Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Tied & Reduced RNN-T Decoder [0.0]
  認識性能を低下させることなく,RNN-Tデコーダ(予測ネットワーク+ジョイントネットワーク)の小型化と高速化を図る。 我々の予測ネットワークは入力埋め込みの簡単な重み付けを行い、その埋め込み行列重みを結合ネットワークの出力層と共有する。 このシンプルな設計は、追加の編集ベースの最小ベイズリスク(EMBR)トレーニングと併用することで、ワードエラー率(WER)に影響を与えることなく、RNN-Tデコーダを23Mパラメータから2Mに削減する。
  論文  参考訳（メタデータ） (2021-09-15T18:19:16Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Refining activation downsampling with SoftPool [74.1840492087968]
  畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
  論文  参考訳（メタデータ） (2021-01-02T12:09:49Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。