論文の概要: Spectral Leakage and Rethinking the Kernel Size in CNNs

• arxiv url: http://arxiv.org/abs/2101.10143v1
• Date: Mon, 25 Jan 2021 14:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-14 19:18:01.315331
• Title: Spectral Leakage and Rethinking the Kernel Size in CNNs
• Title（参考訳）: CNNにおけるスペクトル漏洩とカーネルサイズ再考
• Authors: Nergis Tomen, Jan van Gemert
• Abstract要約: CNNカーネルの小型化は,スペクトルリークの影響を受けやすいことを示す。 従来の3ドル3セントカーネルによるベースラインの分類精度の向上を実証した。 また,ハミングウィンドウ表示を用いたCNNは,特定の種類の敵攻撃に対する堅牢性を高めた。
• 参考スコア（独自算出の注目度）: 10.432041176720842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional layers in CNNs implement linear filters which decompose the input into different frequency bands. However, most modern architectures neglect standard principles of filter design when optimizing their model choices regarding the size and shape of the convolutional kernel. In this work, we consider the well-known problem of spectral leakage caused by windowing artifacts in filtering operations in the context of CNNs. We show that the small size of CNN kernels make them susceptible to spectral leakage, which may induce performance-degrading artifacts. To address this issue, we propose the use of larger kernel sizes along with the Hamming window function to alleviate leakage in CNN architectures. We demonstrate improved classification accuracy over baselines with conventional $3\times 3$ kernels, on multiple benchmark datasets including Fashion-MNIST, CIFAR-10, CIFAR-100 and ImageNet, via the simple use of a standard window function in convolutional layers. Finally, we show that CNNs employing the Hamming window display increased robustness against certain types of adversarial attacks.
• Abstract（参考訳）: CNNの畳み込み層は、異なる周波数帯域に入力を分解する線形フィルタを実装している。 しかし、現代のほとんどのアーキテクチャは、畳み込みカーネルのサイズと形状に関するモデル選択を最適化する際に、フィルタ設計の標準原則を無視している。 本研究では,cnnの文脈におけるフィルタリング操作におけるウィンドウアーティファクトによるスペクトル漏洩問題について考察する。 我々は,CNNカーネルの小型化によってスペクトルリークの影響を受けやすくなり,性能劣化を招きうることを示す。 そこで本研究では,CNNアーキテクチャの漏洩を緩和するために,ハミングウィンドウ機能とともにより大きなカーネルサイズを使用することを提案する。 我々はFashion-MNIST, CIFAR-10, CIFAR-100, ImageNetなどのベンチマークデータセット上で, 畳み込み層における標準ウィンドウ関数の簡単な使用により, ベースラインの分類精度を従来の$3\times 3$カーネルで向上させることを示した。 最後に,ハミングウィンドウ表示を用いたCNNは,特定の種類の敵攻撃に対する堅牢性を高めたことを示す。

関連論文リスト

• Tensor network compressibility of convolutional models [0.0]
  我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T13:12:33Z)
• CAM Back Again: Large Kernel CNNs from a Weakly Supervised Object Localization Perspective [2.7195102129095003]
  大規模なカーネルCNNは、下流の視覚タスクや分類性能でよく機能することが報告されている。 ダウンストリームタスクにおける大規模カーネルCNNの性能を再考し、弱教師付きオブジェクトローカライゼーションタスクに着目した。 本研究では,現在のカーネルCNNであるConvNeXt,RepLKNet,SLaKを比較し,ERFサイズがダウンストリームタスクの性能向上に重要であることを示す。
  論文  参考訳（メタデータ） (2024-03-11T12:48:22Z)
• PICNN: A Pathway towards Interpretable Convolutional Neural Networks [12.31424771480963]
  フィルタと画像のクラス間の絡み合いを軽減する新しい経路を導入する。 我々はBernoulliサンプリングを用いて、学習可能なフィルタクラス対応行列からフィルタクラスタ割り当て行列を生成する。 提案手法の有効性を,広く使用されている10のネットワークアーキテクチャ上で評価する。
  論文  参考訳（メタデータ） (2023-12-19T11:36:03Z)
• Scaling Spherical CNNs [19.735829027026902]
  球面の畳み込みがより大きな問題に対してどのようにスケールできるかを示す。 実験により、我々のより大きな球状CNNが、QM9分子ベンチマークのいくつかのターゲットで最先端に達することが示された。
  論文  参考訳（メタデータ） (2023-06-08T17:59:08Z)
• Towards a General Purpose CNN for Long Range Dependencies in $\mathrm{N}$D [49.57261544331683]
  構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。 1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。 私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
  論文  参考訳（メタデータ） (2022-06-07T15:48:02Z)
• Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs [148.0476219278875]
  現代畳み込みニューラルネットワーク(CNN)における大規模カーネル設計の再検討 本稿では、視覚変換器(ViT)の最近の進歩に触発されて、小さなカーネルのスタックではなく、少数の大きな畳み込みカーネルを使うことが、より強力なパラダイムであることを実証する。 本稿では,カーネルサイズが31x31の純粋なCNNアーキテクチャであるRepLKNetを提案する。
  論文  参考訳（メタデータ） (2022-03-13T17:22:44Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification [0.0]
  畳み込みニューラルネットワーク(CNN)を用いたハイパースペクトル画像(HSI)分類は,現在の文献に広く見られる。 マルチ解像度HSI分類のための2次元CNNのバリエーションであるウェーブレットCNNであるSpectralNETを提案する。
  論文  参考訳（メタデータ） (2021-04-01T08:45:15Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。