論文の概要: On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2209.11740v2
• Date: Tue, 24 Oct 2023 12:17:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 03:40:55.324003
• Title: On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける最大プール特徴写像のシフト不変性について
• Authors: Hubert Leterme (UGA, LJK), K\'evin Polisano (UGA, LJK), Val\'erie Perrier (Grenoble INP, LJK), Karteek Alahari (LJK)
• Abstract要約: ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。 安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。 二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on improving the mathematical interpretability of convolutional neural networks (CNNs) in the context of image classification. Specifically, we tackle the instability issue arising in their first layer, which tends to learn parameters that closely resemble oriented band-pass filters when trained on datasets like ImageNet. Subsampled convolutions with such Gabor-like filters are prone to aliasing, causing sensitivity to small input shifts. In this context, we establish conditions under which the max pooling operator approximates a complex modulus, which is nearly shift invariant. We then derive a measure of shift invariance for subsampled convolutions followed by max pooling. In particular, we highlight the crucial role played by the filter's frequency and orientation in achieving stability. We experimentally validate our theory by considering a deterministic feature extractor based on the dual-tree complex wavelet packet transform, a particular case of discrete Gabor-like decomposition.
• Abstract（参考訳）: 本稿では,画像分類における畳み込みニューラルネットワーク(cnns)の数学的解釈性の向上に着目する。 具体的には、imagenetのようなデータセットでトレーニングすると、指向したバンドパスフィルタによく似たパラメータを学習する傾向がある、第1層で発生する不安定な問題に取り組む。 このようなガボル型フィルタによるサブサンプル畳み込みはエイリアスしやすく、小さな入力シフトに敏感である。 この文脈では、最大プーリング作用素が複素モジュラーを近似する条件を確立するが、これはほとんどシフト不変である。 次に、サブサンプル畳み込みに対するシフト不変性の尺度を導出し、最大プーリングを行う。 特に,安定を達成する上で,フィルタの周波数と方向が果たす重要な役割を強調する。 本稿では,二本木複素ウェーブレットパケット変換に基づく決定論的特徴抽出器,特に離散ガボール分解の場合について実験的に検証する。

関連論文リスト

• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Instabilities in Convnets for Raw Audio [1.5060156580765574]
  ランダムなガウス重みを持つFIRフィルタバンクのエネルギー応答に対する大きな偏差の理論を示す。 大規模なフィルタや局所的な周期的な入力信号の偏差が悪化することが判明した。 数値シミュレーションは我々の理論と一致し、畳み込み層の条件数は対数スケーリング法則に従うことを示唆する。
  論文  参考訳（メタデータ） (2023-09-11T22:34:06Z)
• From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets [7.812210699650151]
  我々は第1層の組み合わせを "real-valued convolutions + max pooling" に置き換える。 我々は、CModとRMaxが、畳み込みカーネルが帯域通過で向き付けられたときに、同等の出力を生成すると主張している。 提案手法は,ImageNetとCIFAR-10の分類タスクにおいて,優れた精度を実現する。
  論文  参考訳（メタデータ） (2022-12-01T09:42:55Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Convolutional Filtering in Simplicial Complexes [13.604803091781926]
  本稿では,Simplicial Complex (SC) を用いて構造をモデル化可能なデータに対する畳み込みフィルタリングを提案する。 SCは、グラフとしてペアワイズ関係をキャプチャするだけでなく、高階ネットワーク構造も考慮する数学的ツールである。
  論文  参考訳（メタデータ） (2022-01-29T13:13:57Z)
• Fourier Series Expansion Based Filter Parametrization for Equivariant Convolutions [73.33133942934018]
  2次元フィルタパラメトリゼーション技術は同変畳み込みの設計において重要な役割を果たす。 F-Convというフィルタパラメトリゼーション法に基づく新しい同変畳み込み法 F-Convは、画像超解像タスクにおいて、以前のフィルタパラメトリゼーション法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2021-07-30T10:01:52Z)
• Learnable Gabor modulated complex-valued networks for orientation robustness [4.024850952459758]
  学習可能な Gabor Convolutional Networks (LGCNs) はパラメータ効率が良く、モデルの複雑さが増す。 複雑な値を持つ畳み込み重みの束縛性について,学習したガボルフィルタを用いて検討し,配向変換を実現する。
  論文  参考訳（メタデータ） (2020-11-23T21:22:27Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。