論文の概要: Refining activation downsampling with SoftPool

• arxiv url: http://arxiv.org/abs/2101.00440v3
• Date: Thu, 18 Mar 2021 09:51:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 09:17:36.076916
• Title: Refining activation downsampling with SoftPool
• Title（参考訳）: SoftPoolによる活性化ダウンサンプリング
• Authors: Alexandros Stergiou, Ronald Poppe, Grigorios Kalliatakis
• Abstract要約: 畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
• 参考スコア（独自算出の注目度）: 74.1840492087968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Networks (CNNs) use pooling to decrease the size of activation maps. This process is crucial to increase the receptive fields and to reduce computational requirements of subsequent convolutions. An important feature of the pooling operation is the minimization of information loss, with respect to the initial activation maps, without a significant impact on the computation and memory overhead. To meet these requirements, we propose SoftPool: a fast and efficient method for exponentially weighted activation downsampling. Through experiments across a range of architectures and pooling methods, we demonstrate that SoftPool can retain more information in the reduced activation maps. This refined downsampling leads to improvements in a CNN's classification accuracy. Experiments with pooling layer substitutions on ImageNet1K show an increase in accuracy over both original architectures and other pooling methods. We also test SoftPool on video datasets for action recognition. Again, through the direct replacement of pooling layers, we observe consistent performance improvements while computational loads and memory requirements remain limited.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 この過程は受容場を増加させ、その後の畳み込みの計算要件を減らすために重要である。 プール操作の重要な特徴は、初期活性化マップに対する情報損失の最小化であり、計算とメモリオーバーヘッドに大きな影響を与えない。 これらの要件を満たすために、指数関数的に重み付けされたアクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案する。 様々なアーキテクチャやプール手法の実験を通じて、SoftPoolは活性化マップにより多くの情報を保持できることを示した。 この洗練されたダウンサンプリングにより、CNNの分類精度が向上する。 imagenet1kのプーリング層置換実験では、元のアーキテクチャや他のプーリングメソッドよりも精度が向上している。 また、アクション認識のためのビデオデータセットでSoftPoolをテストする。 繰り返しになるが、プーリング層を直接置き換えることで、計算負荷とメモリ要求が制限されている間、一貫した性能改善が観察される。

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• Self-Attentive Pooling for Efficient Deep Learning [6.822466048176652]
  そこで本研究では,標準プーリング層に対するドロップイン代替として使用可能な,非局所的な自己係留型プーリング手法を提案する。 我々は、ImageNet上のMobileNet-V2の様々な変種に対する既存のプール技術のテスト精度を平均1.2%上回る。 提案手法は,イソメモリフットプリントを用いたSOTA技術と比較して1.43%高い精度を実現している。
  論文  参考訳（メタデータ） (2022-09-16T00:35:14Z)
• Pooling Revisited: Your Receptive Field is Suboptimal [35.11562214480459]
  受信フィールドのサイズと形状は、ネットワークがどのようにローカル情報を集約するかを決定する。 我々はDynOPoolと呼ばれるシンプルだが効果的な動的最適化プール操作を提案する。 実験の結果,学習可能なリサイズモジュールを備えたモデルは,画像分類やセマンティックセグメンテーションにおいて,複数のデータセットのベースラインネットワークよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T17:03:40Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• Token Pooling in Vision Transformers [37.11990688046186]
  視覚変換器では、自己注意は主要なボトルネックではなく、例えば、計算の80%以上が完全に接続された層に費やされている。 本稿では,画像と中間トークン表現の冗長性を効果的に活用するトークンダウンサンプリング手法Token Poolingを提案する。 実験の結果,Token Poolingは最先端のダウンサンプリングに対する費用対精度のトレードオフを大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2021-10-08T02:22:50Z)
• Temporal Attention-Augmented Graph Convolutional Network for Efficient Skeleton-Based Human Action Recognition [97.14064057840089]
  グラフネットワーク(GCN)はユークリッド以外のデータ構造をモデル化するのに非常に成功した。 ほとんどのGCNベースのアクション認識手法は、計算量の多いディープフィードフォワードネットワークを使用して、全てのスケルトンをアクションで処理する。 本稿では,骨格に基づく行動認識の効率を高めるための時間的アテンションモジュール(TAM)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T08:01:55Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• RNNPool: Efficient Non-linear Pooling for RAM Constrained Inference [24.351577383531616]
  RNNPoolは、リカレントニューラルネットワーク(RNN)に基づく新しいプール演算子である。 RNNPoolレイヤは、画像分類や顔検出といった標準的な視覚タスクに適用した場合、MobileNetsやDenseNetのようなさまざまなアーキテクチャの複数のブロックを効果的に置き換えることができる。 我々は、RNNPoolを標準のS3FDアーキテクチャで使用し、256KB未満のRAMを持つARM Cortex-M4クラスマイクロコントローラの最先端MAPを実現する。
  論文  参考訳（メタデータ） (2020-02-27T05:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。