論文の概要: On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2209.11740v1
• Date: Mon, 19 Sep 2022 08:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 23:06:35.504167
• Title: On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける最大プール特徴写像のシフト不変性について
• Authors: Hubert Leterme (UGA, LJK), K\'evin Polisano (UGA, LJK), Val\'erie Perrier (Grenoble INP, LJK), Karteek Alahari (LJK)
• Abstract要約: 周波数や向きによっては、安定な画像表現を生成する確率が、他のフィルタよりも高いことを示す。 二重ツリーウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim to improve the mathematical interpretability of convolutional neural networks for image classification. When trained on natural image datasets, such networks tend to learn parameters in the first layer that closely resemble oriented Gabor filters. By leveraging the properties of discrete Gabor-like convolutions, we prove that, under specific conditions, feature maps computed by the subsequent max pooling operator tend to approximate the modulus of complex Gabor-like coefficients, and as such, are stable with respect to certain input shifts. We then compute a probabilistic measure of shift invariance for these layers. More precisely, we show that some filters, depending on their frequency and orientation, are more likely than others to produce stable image representations. We experimentally validate our theory by considering a deterministic feature extractor based on the dual-tree wavelet packet transform, a particular case of discrete Gabor-like decomposition. We demonstrate a strong correlation between shift invariance on the one hand and similarity with complex modulus on the other hand.
• Abstract（参考訳）: 本稿では,画像分類のための畳み込みニューラルネットワークの数学的解釈性の向上を目的とする。 自然な画像データセットでトレーニングすると、そのようなネットワークは、指向したGaborフィルタによく似た第1層でパラメータを学習する傾向にある。 離散ガボール型畳み込みの性質を利用することにより、特定の条件下では、次の最大プーリング作用素によって計算された特徴写像が複素ガボール型係数のモジュラリティを近似する傾向にあり、ある入力シフトに関して安定であることを示す。 次に、これらの層に対するシフト不変性の確率的尺度を計算する。 より正確には、周波数や向きによっては、安定な画像表現を生成する確率が高いフィルタがあることが示される。 本稿では,二本木ウェーブレットパケット変換に基づく決定論的特徴抽出器,特に離散ガボール分解の場合について実験的に検証する。 本研究では,一方のシフト不変度と他方の複素率との類似性との間に強い相関関係を示す。

関連論文リスト

• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Instabilities in Convnets for Raw Audio [1.5060156580765574]
  ランダムなガウス重みを持つFIRフィルタバンクのエネルギー応答に対する大きな偏差の理論を示す。 大規模なフィルタや局所的な周期的な入力信号の偏差が悪化することが判明した。 数値シミュレーションは我々の理論と一致し、畳み込み層の条件数は対数スケーリング法則に従うことを示唆する。
  論文  参考訳（メタデータ） (2023-09-11T22:34:06Z)
• From CNNs to Shift-Invariant Twin Models Based on Complex Wavelets [7.812210699650151]
  我々は第1層の組み合わせを "real-valued convolutions + max pooling" に置き換える。 我々は、CModとRMaxが、畳み込みカーネルが帯域通過で向き付けられたときに、同等の出力を生成すると主張している。 提案手法は,ImageNetとCIFAR-10の分類タスクにおいて,優れた精度を実現する。
  論文  参考訳（メタデータ） (2022-12-01T09:42:55Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Convolutional Filtering in Simplicial Complexes [13.604803091781926]
  本稿では,Simplicial Complex (SC) を用いて構造をモデル化可能なデータに対する畳み込みフィルタリングを提案する。 SCは、グラフとしてペアワイズ関係をキャプチャするだけでなく、高階ネットワーク構造も考慮する数学的ツールである。
  論文  参考訳（メタデータ） (2022-01-29T13:13:57Z)
• Fourier Series Expansion Based Filter Parametrization for Equivariant Convolutions [73.33133942934018]
  2次元フィルタパラメトリゼーション技術は同変畳み込みの設計において重要な役割を果たす。 F-Convというフィルタパラメトリゼーション法に基づく新しい同変畳み込み法 F-Convは、画像超解像タスクにおいて、以前のフィルタパラメトリゼーション法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2021-07-30T10:01:52Z)
• Learnable Gabor modulated complex-valued networks for orientation robustness [4.024850952459758]
  学習可能な Gabor Convolutional Networks (LGCNs) はパラメータ効率が良く、モデルの複雑さが増す。 複雑な値を持つ畳み込み重みの束縛性について,学習したガボルフィルタを用いて検討し,配向変換を実現する。
  論文  参考訳（メタデータ） (2020-11-23T21:22:27Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。