論文の概要: PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution

• arxiv url: http://arxiv.org/abs/2403.07589v1
• Date: Tue, 12 Mar 2024 12:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:33:09.437784
• Title: PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution
• Title（参考訳）: pelk:周辺畳み込みを伴うパラメータ効率の高い大型カーネルコンブネット
• Authors: Honghao Chen, Xiangxiang Chu, Yongjian Ren, Xin Zhao, Kaiqi Huang
• Abstract要約: 人間の視覚に触発されて、高密度グリッド畳み込みの90%以上のパラメータ数を効率的に削減する、ヒトのような周辺畳み込みを提案する。 末梢のコンボリューションは人間と非常によく似ており,O(K2) から O(logK) へのコンボリューションの複雑度を低下させる。 初めて、CNNのカーネルサイズを前例のない101x101にスケールアップし、一貫した改善を実証しました。
• 参考スコア（独自算出の注目度）: 37.70771713862551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, some large kernel convnets strike back with appealing performance and efficiency. However, given the square complexity of convolution, scaling up kernels can bring about an enormous amount of parameters and the proliferated parameters can induce severe optimization problem. Due to these issues, current CNNs compromise to scale up to 51x51 in the form of stripe convolution (i.e., 51x5 + 5x51) and start to saturate as the kernel size continues growing. In this paper, we delve into addressing these vital issues and explore whether we can continue scaling up kernels for more performance gains. Inspired by human vision, we propose a human-like peripheral convolution that efficiently reduces over 90% parameter count of dense grid convolution through parameter sharing, and manage to scale up kernel size to extremely large. Our peripheral convolution behaves highly similar to human, reducing the complexity of convolution from O(K^2) to O(logK) without backfiring performance. Built on this, we propose Parameter-efficient Large Kernel Network (PeLK). Our PeLK outperforms modern vision Transformers and ConvNet architectures like Swin, ConvNeXt, RepLKNet and SLaK on various vision tasks including ImageNet classification, semantic segmentation on ADE20K and object detection on MS COCO. For the first time, we successfully scale up the kernel size of CNNs to an unprecedented 101x101 and demonstrate consistent improvements.
• Abstract（参考訳）: 最近、いくつかの大きなカーネルconvnetは、パフォーマンスと効率性に訴えている。 しかし、畳み込みの2乗の複雑さを考えると、カーネルのスケールアップは膨大な量のパラメータをもたらし、増大したパラメータは深刻な最適化問題を引き起こす。 これらの問題により、現在のCNNはストライプ畳み込み(51x5 + 5x51)の形で51x51までのスケールを妥協し、カーネルのサイズが大きくなるにつれて飽和し始める。 本稿では,これらの重要な問題に対処し,パフォーマンス向上のためにカーネルのスケールアップを継続できるかどうかを考察する。 本研究では,人間の視覚に触発され,パラメータ共有による高密度グリッド畳み込みの90%以上のパラメータ数を効率良く削減し,カーネルサイズを極端に拡大する,人間のような周辺畳み込みを提案する。 末梢のコンボリューションは人間と非常によく似ており,O(K^2)からO(logK)へのコンボリューションの複雑さを低下させる。 そこで本研究では,パラメータ効率の高いLarge Kernel Network (PeLK)を提案する。 私たちのPeLKは、ImageNet分類、ADE20K上のセマンティックセグメンテーション、MS COCOでのオブジェクト検出など、様々なビジョンタスクにおいて、Swin、ConvNeXt、RepLKNet、SLaKのようなモダンなビジョントランスフォーマーやConvNetアーキテクチャよりも優れています。 初めて、CNNのカーネルサイズを前例のない101x101にスケールアップし、一貫した改善を実証しました。

関連論文リスト

• KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
  KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。 我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-12T05:16:26Z)
• Shift-ConvNets: Small Convolutional Kernel with Large Kernel Effects [8.933264104073832]
  小さな畳み込みカーネルと畳み込み演算は、大きなカーネルサイズの閉じた効果を達成することができる。 スパース機構の助けを借りてCNNが長距離依存を捕捉できるようにするシフトワイズ演算子を提案する。 ImageNet-1kでは、シフトワイド強化CNNモデルは最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-01-23T13:13:45Z)
• KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution [19.021411176761738]
  動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。 既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。 我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:35:09Z)
• InceptionNeXt: When Inception Meets ConvNeXt [167.61042926444105]
  IncepitonNeXtと呼ばれる一連のネットワークを構築し、高いスループットを享受するだけでなく、競争性能も維持しています。 InceptionNeXtはConvNeX-Tよりも1.6倍高いトレーニングスループットを実現し、ImageNet-1Kでは0.2%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-03-29T17:59:58Z)
• More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity [103.62784587778037]
  最近、いくつかの先進的な畳み込みモデルが、局所的だが大きな注意機構によって動機付けられた大きなカーネルで後退している。 本稿では,51x51カーネルを備えた純粋なCNNアーキテクチャであるSparse Large Kernel Network (SLaK)を提案する。
  論文  参考訳（メタデータ） (2022-07-07T23:55:52Z)
• Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs [148.0476219278875]
  現代畳み込みニューラルネットワーク(CNN)における大規模カーネル設計の再検討 本稿では、視覚変換器(ViT)の最近の進歩に触発されて、小さなカーネルのスタックではなく、少数の大きな畳み込みカーネルを使うことが、より強力なパラダイムであることを実証する。 本稿では,カーネルサイズが31x31の純粋なCNNアーキテクチャであるRepLKNetを提案する。
  論文  参考訳（メタデータ） (2022-03-13T17:22:44Z)
• Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
  本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。 実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2022-02-06T03:56:19Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• XSepConv: Extremely Separated Convolution [60.90871656244126]
  極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
  論文  参考訳（メタデータ） (2020-02-27T11:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。