論文の概要: Condensation-Net: Memory-Efficient Network Architecture with
Cross-Channel Pooling Layers and Virtual Feature Maps
- arxiv url: http://arxiv.org/abs/2104.14124v1
- Date: Thu, 29 Apr 2021 05:44:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-30 12:49:24.801975
- Title: Condensation-Net: Memory-Efficient Network Architecture with
Cross-Channel Pooling Layers and Virtual Feature Maps
- Title（参考訳）: Condensation-Net: クロスチャネルポーリング層と仮想特徴マップを備えたメモリ効率の良いネットワークアーキテクチャ
- Authors: Tse-Wei Chen, Motoki Yoshinaga, Hongxing Gao, Wei Tao, Dongchao Wen,
Junjie Liu, Kinya Osa, Masami Kato
- Abstract要約: 特徴マップのメモリ容量を最大化することなく,特定のネットワークアーキテクチャ(コンデンセーションネット)を処理するアルゴリズムを提案する。
クロスチャネルプーリングは、顔検出などのオブジェクト検出タスクの精度を向上させることができる。
提案するハードウェアアーキテクチャでクロスチャネルプーリングをサポートするオーバーヘッドは無視できるほど小さい。
- 参考スコア（独自算出の注目度）: 28.992851280809205
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: "Lightweight convolutional neural networks" is an important research topic in
the field of embedded vision. To implement image recognition tasks on a
resource-limited hardware platform, it is necessary to reduce the memory size
and the computational cost. The contribution of this paper is stated as
follows. First, we propose an algorithm to process a specific network
architecture (Condensation-Net) without increasing the maximum memory storage
for feature maps. The architecture for virtual feature maps saves 26.5% of
memory bandwidth by calculating the results of cross-channel pooling before
storing the feature map into the memory. Second, we show that cross-channel
pooling can improve the accuracy of object detection tasks, such as face
detection, because it increases the number of filter weights. Compared with
Tiny-YOLOv2, the improvement of accuracy is 2.0% for quantized networks and
1.5% for full-precision networks when the false-positive rate is 0.1. Last but
not the least, the analysis results show that the overhead to support the
cross-channel pooling with the proposed hardware architecture is negligible
small. The extra memory cost to support Condensation-Net is 0.2% of the total
size, and the extra gate count is only 1.0% of the total size.
- Abstract（参考訳）: 軽量畳み込みニューラルネットワーク」は、組み込み視覚分野における重要な研究課題である。
リソース限定のハードウェアプラットフォーム上で画像認識タスクを実装するためには,メモリサイズと計算コストを削減する必要がある。
本論文の貢献は以下の通りである。
まず,特徴マップのメモリ容量を最大にすることなく,特定のネットワークアーキテクチャ(凝縮ネット)を処理するアルゴリズムを提案する。
仮想特徴マップのアーキテクチャは、特徴マップをメモリに格納する前にチャネル間プーリングの結果を計算することによって、メモリ帯域幅の26.5%を節約する。
次に,フィルタ重みを増加させるため,クロスチャネルプーリングにより顔検出などの物体検出タスクの精度が向上することを示す。
tiny-yolov2と比較すると、量子化ネットワークでは2.0%、偽陽性率は0.1である場合には1.5%である。
最後に、解析結果から、提案したハードウェアアーキテクチャによるクロスチャネルプーリングをサポートするオーバーヘッドは無視できるほど小さいことが示されている。
Condensation-Netをサポートする余剰メモリコストは総サイズの0.2%であり、余剰ゲート数は総サイズの1.0%に過ぎない。
関連論文リスト
- Designing Extremely Memory-Efficient CNNs for On-device Vision Tasks [2.9835839258066015]
デバイス上での視覚タスクにメモリ効率の良いCNN(畳み込みニューラルネットワーク)を導入する。
提案したネットワークは、競合するトップ1の精度(61.58%)を達成しつつ、非常に低いメモリ(63KB)でImageNetを分類する。
我々の知る限り、提案するネットワークのメモリ使用量は最先端のメモリ効率ネットワークよりもはるかに少ない。
論文 参考訳（メタデータ） (2024-08-07T10:04:04Z) - Rediscovering Hashed Random Projections for Efficient Quantization of
Contextualized Sentence Embeddings [113.38884267189871]
エッジデバイス上でのトレーニングと推論は、しばしば計算上の制限のために効率的なセットアップを必要とする。
データ表現の事前計算とサーバへのキャッシュにより、エッジデバイスの広範な計算が軽減される。
ランダムな超平面射影を用いた単純かつ効果的な手法を提案する。
組込みは, 浮動小数点の94%-99%を保持できる様々な英語およびドイツ語の文分類タスクにおいて, トレーニングモデルに有効であることを示す。
論文 参考訳（メタデータ） (2023-03-13T10:53:00Z) - Self-Attentive Pooling for Efficient Deep Learning [6.822466048176652]
そこで本研究では,標準プーリング層に対するドロップイン代替として使用可能な,非局所的な自己係留型プーリング手法を提案する。
我々は、ImageNet上のMobileNet-V2の様々な変種に対する既存のプール技術のテスト精度を平均1.2%上回る。
提案手法は,イソメモリフットプリントを用いたSOTA技術と比較して1.43%高い精度を実現している。
論文 参考訳（メタデータ） (2022-09-16T00:35:14Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳（メタデータ） (2021-10-28T17:58:45Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - PocketNet: A Smaller Neural Network for 3D Medical Image Segmentation [0.0]
私たちは、パラメータの数の3%未満を使用しながら、従来のCNNに匹敵するセグメンテーション結果を達成するPocketNetと呼ばれる新しいCNNアーキテクチャを導き出します。
我々は,PocketNetが従来のCNNに匹敵するセグメンテーション結果を達成し,パラメータ数の3%未満を用いていることを示す。
論文 参考訳（メタデータ） (2021-04-21T20:10:30Z) - Refining activation downsampling with SoftPool [74.1840492087968]
畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。
指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。
SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
論文 参考訳（メタデータ） (2021-01-02T12:09:49Z) - Towards Lossless Binary Convolutional Neural Networks Using Piecewise
Approximation [4.023728681102073]
CNNは算術演算の数とメモリストレージのサイズを大幅に減らすことができる。
しかし、単一のバイナリCNNと複数のバイナリCNNの精度劣化は、現代のアーキテクチャでは受け入れられない。
完全精度の重みとアクティベーションを近似することにより、精度の低下を低減できる複数のバイナリCNNに対するPiecewise Approximationスキームを提案する。
論文 参考訳（メタデータ） (2020-08-08T13:32:33Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。