論文の概要: $ShiftwiseConv:$ Small Convolutional Kernel with Large Kernel Effect
- arxiv url: http://arxiv.org/abs/2401.12736v2
- Date: Thu, 13 Mar 2025 09:35:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 15:49:59.222747
- Title: $ShiftwiseConv:$ Small Convolutional Kernel with Large Kernel Effect
- Title（参考訳）: $ShiftwiseConv:$大きなカーネル効果を持つ小さな畳み込みカーネル
- Authors: Dachong Li, Li Li, Zhuangzhuang Chen, Jianqiang Li,
- Abstract要約: 大型カーネルは、様々な視覚タスクにおけるトランスフォーマーアーキテクチャよりも、標準畳み込みニューラルネットワーク(CNN)が優れている。
カーネルサイズの増加を念頭に設計した最近の研究では、性能の低下や停滞が示されている。
本稿では,大規模カーネルの重要な隠蔽因子を,ある粒度で特徴を抽出し,複数の経路で特徴を融合させるという,2つの分離された構成要素としてまとめることができることを示す。
- 参考スコア（独自算出の注目度）: 8.177438505492548
- License:
- Abstract: Large kernels make standard convolutional neural networks (CNNs) great again over transformer architectures in various vision tasks. Nonetheless, recent studies meticulously designed around increasing kernel size have shown diminishing returns or stagnation in performance. Thus, the hidden factors of large kernel convolution that affect model performance remain unexplored. In this paper, we reveal that the key hidden factors of large kernels can be summarized as two separate components: extracting features at a certain granularity and fusing features by multiple pathways. To this end, we leverage the multi-path long-distance sparse dependency relationship to enhance feature utilization via the proposed Shiftwise (SW) convolution operator with a pure CNN architecture. In a wide range of vision tasks such as classification, segmentation, and detection, SW surpasses state-of-the-art transformers and CNN architectures, including SLaK and UniRepLKNet. More importantly, our experiments demonstrate that $3 \times 3$ convolutions can replace large convolutions in existing large kernel CNNs to achieve comparable effects, which may inspire follow-up works. Code and all the models at https://github.com/lidc54/shift-wiseConv.
- Abstract（参考訳）: 大型カーネルは、様々な視覚タスクにおけるトランスフォーマーアーキテクチャよりも、標準畳み込みニューラルネットワーク(CNN)が優れている。
しかしながら、カーネルサイズの増加を念頭に設計した最近の研究では、性能の低下や停滞が示されている。
したがって、モデル性能に影響を与える大きなカーネルの畳み込みの隠れた要因は未解明のままである。
本稿では,大カーネルの重要な隠蔽因子を,ある粒度で特徴を抽出する,複数の経路で特徴を融合する,という2つの分離された構成要素として要約できることを示す。
この目的のために,提案したShiftwise(SW)畳み込み演算子と純粋なCNNアーキテクチャを用いて,マルチパス長距離スパース依存性関係を利用し,機能利用の促進を図る。
分類、セグメンテーション、検出などの幅広いビジョンタスクにおいて、SWはSLaKやUniRepLKNetを含む最先端のトランスフォーマーやCNNアーキテクチャを上回る。
さらに重要なことは,3ドル3セントの畳み込みは,既存の大規模カーネルCNNの大規模な畳み込みを置き換えることで,同等の効果が得られ,フォローアップ作業に刺激を与える可能性がある,ということです。
コードとすべてのモデルはhttps://github.com/lidc54/shift-wiseConv.orgにある。
関連論文リスト
- PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution [35.1473732030645]
人間の視覚に触発されて、高密度グリッド畳み込みの90%以上のパラメータ数を効率的に削減する、ヒトのような周辺畳み込みを提案する。
末梢のコンボリューションは人間と非常によく似ており,O(K2) から O(logK) へのコンボリューションの複雑度を低下させる。
初めて、CNNのカーネルサイズを前例のない101x101にスケールアップし、一貫した改善を実証しました。
論文 参考訳（メタデータ） (2024-03-12T12:19:05Z) - InceptionNeXt: When Inception Meets ConvNeXt [147.50287103414115]
IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。
InceptionNeXtはConvNeXt-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
論文 参考訳（メタデータ） (2023-03-29T17:59:58Z) - ParCNetV2: Oversized Kernel with Enhanced Attention [60.141606180434195]
我々はParCNetV2という畳み込みニューラルネットワークアーキテクチャを導入する。
位置認識型円形畳み込み(ParCNet)を拡張し、大きめの畳み込みを施し、分岐ゲートユニットを通して注意を向ける。
提案手法は、CNNとトランスフォーマーをハイブリッド化するニューラルネットワークと同様に、他の純粋な畳み込みニューラルネットワークよりも優れている。
論文 参考訳（メタデータ） (2022-11-14T07:22:55Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳（メタデータ） (2022-11-10T18:59:04Z) - More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using
Sparsity [103.62784587778037]
最近、いくつかの先進的な畳み込みモデルが、局所的だが大きな注意機構によって動機付けられた大きなカーネルで後退している。
本稿では,51x51カーネルを備えた純粋なCNNアーキテクチャであるSparse Large Kernel Network (SLaK)を提案する。
論文 参考訳（メタデータ） (2022-07-07T23:55:52Z) - Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs [148.0476219278875]
現代畳み込みニューラルネットワーク(CNN)における大規模カーネル設計の再検討
本稿では、視覚変換器(ViT)の最近の進歩に触発されて、小さなカーネルのスタックではなく、少数の大きな畳み込みカーネルを使うことが、より強力なパラダイムであることを実証する。
本稿では,カーネルサイズが31x31の純粋なCNNアーキテクチャであるRepLKNetを提案する。
論文 参考訳（メタデータ） (2022-03-13T17:22:44Z) - Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。
実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
論文 参考訳（メタデータ） (2022-02-06T03:56:19Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。