論文の概要: Ordinal Pooling

• arxiv url: http://arxiv.org/abs/2109.01561v1
• Date: Fri, 3 Sep 2021 14:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 13:56:40.165433
• Title: Ordinal Pooling
• Title（参考訳）: 普通プール
• Authors: Adrien Deli\`ege, Maxime Istasse, Ashwani Kumar, Christophe De Vleeschouwer, Marc Van Droogenbroeck
• Abstract要約: 通常のプーリングは、シーケンス内のプール領域の要素を並べ替え、シーケンス内の順序に基づいて各要素に異なる重みを割り当てる。 実験により、ネットワークがプーリング層内で異なるタイプのプール操作を行うのが有利であることが示唆された。
• 参考スコア（独自算出の注目度）: 26.873004843826962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the framework of convolutional neural networks, downsampling is often performed with an average-pooling, where all the activations are treated equally, or with a max-pooling operation that only retains an element with maximum activation while discarding the others. Both of these operations are restrictive and have previously been shown to be sub-optimal. To address this issue, a novel pooling scheme, named\emph{ ordinal pooling}, is introduced in this work. Ordinal pooling rearranges all the elements of a pooling region in a sequence and assigns a different weight to each element based upon its order in the sequence. These weights are used to compute the pooling operation as a weighted sum of the rearranged elements of the pooling region. They are learned via a standard gradient-based training, allowing to learn a behavior anywhere in the spectrum of average-pooling to max-pooling in a differentiable manner. Our experiments suggest that it is advantageous for the networks to perform different types of pooling operations within a pooling layer and that a hybrid behavior between average- and max-pooling is often beneficial. More importantly, they also demonstrate that ordinal pooling leads to consistent improvements in the accuracy over average- or max-pooling operations while speeding up the training and alleviating the issue of the choice of the pooling operations and activation functions to be used in the networks. In particular, ordinal pooling mainly helps on lightweight or quantized deep learning architectures, as typically considered e.g. for embedded applications.
• Abstract（参考訳）: 畳み込みニューラルネットワークの枠組みでは、ダウンサンプリングは、すべてのアクティベーションが等しく扱われる平均プール処理や、最大アクティベーションを持つ要素のみを保持して他を破棄するmaxプール操作で実行されることが多い。 これらの操作はどちらも制限的であり、以前は準最適であることが示されている。 この問題に対処するために、新しいプール方式である「emph{ Ordinal pooling}」が導入されている。 順序プーリングは、シーケンス内のプーリング領域のすべての要素を再配置し、シーケンス内の順序に基づいて各要素に異なる重みを割り当てる。 これらの重みは、プール領域の配置された要素の重み付け和としてプール操作を計算するために用いられる。 それらは標準勾配に基づくトレーニングを通じて学習され、平均プールから最大プールまでのスペクトルのどこででも、異なる方法で振る舞いを学ぶことができる。 実験では,ネットワークがプール層内で異なるタイプのプーリング操作を行うことが有利であり,平均と最大プーリングのハイブリッド動作が有益であることが示唆された。 さらに重要なことは、順序プーリングが平均または最大プーリング操作の精度を一貫して向上させ、トレーニングをスピードアップさせ、プール操作とネットワークで使用するアクティベーション関数の選択の問題を軽減することも示している。 特にordinal poolingは、一般的に考えられるような、軽量あるいは量子化されたディープラーニングアーキテクチャを支援する。 組み込みアプリケーション。

関連論文リスト

• MorphPool: Efficient Non-linear Pooling & Unpooling in CNNs [9.656707333320037]
  ポーリングは本質的には数学的形態学の分野からの操作であり、極大プールは限定的な特殊なケースである。 プール操作に加えて、ピクセルレベルの予測に使用されるエンコーダデコーダネットワークもアンプールを必要とする。 2つのタスクと3つの大規模データセットの大規模な実験により、モルフォロジープーリングとアンプールがパラメータ数を大幅に削減して予測性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2022-11-25T11:25:20Z)
• Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for Pooling and Unpooling [101.72318949104627]
  本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。 LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
  論文  参考訳（メタデータ） (2022-05-31T07:23:42Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Refining activation downsampling with SoftPool [74.1840492087968]
  畳み込みニューラルネットワーク(cnns)は、アクティベーションマップのサイズを減らすためにプールを使用する。 指数重化アクティベーションダウンサンプリングの高速かつ効率的な方法であるSoftPoolを提案します。 SoftPoolは、アクティベーションマップの縮小でより多くの情報を保持できることを示します。
  論文  参考訳（メタデータ） (2021-01-02T12:09:49Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Receptive Field Size Optimization with Continuous Time Pooling [0.0]
  我々は、理論上のプールを連続時間微分方程式で置き換える、最も一般的な手法である最大プーリングの修正版を提示する。 一般に適用されるネットワークアーキテクチャとデータセットを用いて,連続プーリングが精度および計算ニーズに与える影響を評価する。
  論文  参考訳（メタデータ） (2020-11-02T10:21:51Z)
• Multi Layer Neural Networks as Replacement for Pooling Operations [13.481518628796692]
  一方のパーセプトロンは,モデルの複雑さを増大させることなく,プール操作として有効に利用できることを示す。 テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減少させることを示す。
  論文  参考訳（メタデータ） (2020-06-12T07:08:38Z)
• Regularized Pooling [12.387676601792899]
  畳み込みニューラルネットワーク(CNN)では、スプーリング操作は次元減少や変形補償といった重要な役割を果たす。 本稿では,隣接するカーネル間で空間的にスムーズなスムーズなプール操作を行うために,正規化プーリングを提案する。
  論文  参考訳（メタデータ） (2020-05-06T09:02:17Z)
• Strip Pooling: Rethinking Spatial Pooling for Scene Parsing [161.7521770950933]
  長いが狭いカーネル、すなわち1xNまたはNx1を考えるストリッププーリングを導入する。 提案するストリッププール性能と従来の空間プール技術との比較を行った。 両方の新しいプールベースのデザインは軽量であり、既存のシーン解析ネットワークにおいて効率的なプラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2020-03-30T10:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。