論文の概要: Pooling Revisited: Your Receptive Field is Suboptimal

• arxiv url: http://arxiv.org/abs/2205.15254v1
• Date: Mon, 30 May 2022 17:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:42:03.680367
• Title: Pooling Revisited: Your Receptive Field is Suboptimal
• Title（参考訳）: pooling revisited: あなたの受容野は最適ではない
• Authors: Dong-Hwan Jang, Sanghyeok Chu, Joonhyuk Kim, Bohyung Han
• Abstract要約: 受信フィールドのサイズと形状は、ネットワークがどのようにローカル情報を集約するかを決定する。 我々はDynOPoolと呼ばれるシンプルだが効果的な動的最適化プール操作を提案する。 実験の結果,学習可能なリサイズモジュールを備えたモデルは,画像分類やセマンティックセグメンテーションにおいて,複数のデータセットのベースラインネットワークよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 35.11562214480459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The size and shape of the receptive field determine how the network aggregates local information and affect the overall performance of a model considerably. Many components in a neural network, such as kernel sizes and strides for convolution and pooling operations, influence the configuration of a receptive field. However, they still rely on hyperparameters, and the receptive fields of existing models result in suboptimal shapes and sizes. Hence, we propose a simple yet effective Dynamically Optimized Pooling operation, referred to as DynOPool, which optimizes the scale factors of feature maps end-to-end by learning the desirable size and shape of its receptive field in each layer. Any kind of resizing modules in a deep neural network can be replaced by the operations with DynOPool at a minimal cost. Also, DynOPool controls the complexity of a model by introducing an additional loss term that constrains computational cost. Our experiments show that the models equipped with the proposed learnable resizing module outperform the baseline networks on multiple datasets in image classification and semantic segmentation.
• Abstract（参考訳）: 受信フィールドのサイズと形状は、ネットワークがどのようにローカル情報を集約し、モデル全体の性能に大きく影響するかを決定する。 ニューラルネットワークの多くのコンポーネント、例えばカーネルのサイズや、畳み込みとプール操作のためのステップは、受容野の構成に影響を及ぼす。 しかし、それらは依然としてハイパーパラメータに依存しており、既存のモデルの受容野は準最適形状とサイズをもたらす。 そこで我々は,各層における受容場の大きさと形状を学習することにより,特徴マップのスケール係数をエンドツーエンドに最適化する,DynOPoolと呼ばれるシンプルな動的最適化プール操作を提案する。 ディープニューラルネットワーク内の任意の種類のリサイズモジュールは、最小限のコストでdynopoolの操作に置き換えることができる。 また、DynOPoolは計算コストを制約する追加の損失項を導入することで、モデルの複雑さを制御する。 実験の結果,学習可能なリサイズモジュールを備えたモデルは,画像分類やセマンティックセグメンテーションにおいて,複数のデータセットのベースラインネットワークよりも優れていることがわかった。

関連論文リスト

• MorphPool: Efficient Non-linear Pooling & Unpooling in CNNs [9.656707333320037]
  ポーリングは本質的には数学的形態学の分野からの操作であり、極大プールは限定的な特殊なケースである。 プール操作に加えて、ピクセルレベルの予測に使用されるエンコーダデコーダネットワークもアンプールを必要とする。 2つのタスクと3つの大規模データセットの大規模な実験により、モルフォロジープーリングとアンプールがパラメータ数を大幅に削減して予測性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2022-11-25T11:25:20Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Refining activation downsampling with SoftPool [74.1840492087968]
  畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
  論文  参考訳（メタデータ） (2021-01-02T12:09:49Z)
• Scaling Wide Residual Networks for Panoptic Segmentation [29.303735643858026]
  Wide Residual Networks (Wide-ResNets) はResidual Networks (ResNets) の浅層モデルである。 セマンティックセグメンテーションとインスタンスセグメンテーションを統合することを目的とした,最近の課題であるパン光学セグメンテーションタスクのために,アーキテクチャ設計を再考する。 このような単純なスケーリングスキームとグリッドサーチが組み合わさって、高速モデルと強力なモデル体制の両方において、パン光学セグメンテーションデータセットの最先端性能を大幅に向上させるSWideRNetがいくつか存在することを実証する。
  論文  参考訳（メタデータ） (2020-11-23T19:14:11Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Split-Merge Pooling [36.2980225204665]
  スプリット・マージ・プールはサブサンプリングなしで空間情報を保存するために導入された。 本研究では,CityscapesとGTA-5データセットから得られた大規模画像の高密度なセマンティックセマンティックセマンティックセグメンテーションについて検討した。
  論文  参考訳（メタデータ） (2020-06-13T23:20:30Z)
• Multi Layer Neural Networks as Replacement for Pooling Operations [13.481518628796692]
  一方のパーセプトロンは,モデルの複雑さを増大させることなく,プール操作として有効に利用できることを示す。 テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2020-06-12T07:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。