論文の概要: KernelWarehouse: Rethinking the Design of Dynamic Convolution

• arxiv url: http://arxiv.org/abs/2406.07879v1
• Date: Wed, 12 Jun 2024 05:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 18:25:01.711853
• Title: KernelWarehouse: Rethinking the Design of Dynamic Convolution
• Title（参考訳）: KernelWarehouse: 動的畳み込みの設計を再考
• Authors: Chao Li, Anbang Yao,
• Abstract要約: KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。 我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
• 参考スコア（独自算出の注目度）: 16.101179962553385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic convolution learns a linear mixture of n static kernels weighted with their input-dependent attentions, demonstrating superior performance than normal convolution. However, it increases the number of convolutional parameters by n times, and thus is not parameter efficient. This leads to no research progress that can allow researchers to explore the setting n>100 (an order of magnitude larger than the typical setting n<10) for pushing forward the performance boundary of dynamic convolution while enjoying parameter efficiency. To fill this gap, in this paper, we propose KernelWarehouse, a more general form of dynamic convolution, which redefines the basic concepts of ``kernels", ``assembling kernels" and ``attention function" through the lens of exploiting convolutional parameter dependencies within the same layer and across neighboring layers of a ConvNet. We testify the effectiveness of KernelWarehouse on ImageNet and MS-COCO datasets using various ConvNet architectures. Intriguingly, KernelWarehouse is also applicable to Vision Transformers, and it can even reduce the model size of a backbone while improving the model accuracy. For instance, KernelWarehouse (n=4) achieves 5.61%|3.90%|4.38% absolute top-1 accuracy gain on the ResNet18|MobileNetV2|DeiT-Tiny backbone, and KernelWarehouse (n=1/4) with 65.10% model size reduction still achieves 2.29% gain on the ResNet18 backbone. The code and models are available at https://github.com/OSVAI/KernelWarehouse.
• Abstract（参考訳）: 動的畳み込みは、入力依存の注意を重み付けしたn個の静的カーネルの線形混合を学習し、通常の畳み込みよりも優れた性能を示す。 しかし、畳み込みパラメータの数をn回増加させるため、パラメータ効率は良くない。 これにより、研究者はパラメータ効率を楽しみながら動的畳み込みの性能境界を前進させるため、n>100(典型的なn<10よりも桁違い大きい)の設定を探索できる研究の進展は得られない。 このギャップを埋めるために、我々はより一般的な動的畳み込み形式であるKernelWarehouseを提案し、同じ層内および隣接するConvNet層間での畳み込みパラメータ依存性を利用するレンズを通して、‘カーネル’や‘アセンブルカーネル’、‘アテンション関数’といった基本的な概念を再定義する。 我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。 興味深いことに、KernelWarehouseはVision Transformersにも適用でき、モデル精度を改善しながらバックボーンのモデルサイズを削減できる。 例えば、KernelWarehouse (n=4)はResNet18|MobileNetV2|DeiT-Tinyのバックボーンで5.61%|3.90%|4.38%の絶対トップ1精度を達成し、65.10%のモデルサイズ縮小のKernelWarehouse (n=1/4)はResNet18のバックボーンで2.29%のアップを達成した。 コードとモデルはhttps://github.com/OSVAI/KernelWarehouse.comで公開されている。

関連論文リスト

• PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution [35.1473732030645]
  人間の視覚に触発されて、高密度グリッド畳み込みの90%以上のパラメータ数を効率的に削減する、ヒトのような周辺畳み込みを提案する。 末梢のコンボリューションは人間と非常によく似ており,O(K2) から O(logK) へのコンボリューションの複雑度を低下させる。 初めて、CNNのカーネルサイズを前例のない101x101にスケールアップし、一貫した改善を実証しました。
  論文  参考訳（メタデータ） (2024-03-12T12:19:05Z)
• KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution [19.021411176761738]
  動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。 既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。 我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:35:09Z)
• Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation [25.62587471067468]
  RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。 人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
  論文  参考訳（メタデータ） (2023-03-10T08:38:34Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• Omni-Dimensional Dynamic Convolution [25.78940854339179]
  各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。 動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。 より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
  論文  参考訳（メタデータ） (2022-09-16T14:05:38Z)
• More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity [103.62784587778037]
  最近、いくつかの先進的な畳み込みモデルが、局所的だが大きな注意機構によって動機付けられた大きなカーネルで後退している。 本稿では,51x51カーネルを備えた純粋なCNNアーキテクチャであるSparse Large Kernel Network (SLaK)を提案する。
  論文  参考訳（メタデータ） (2022-07-07T23:55:52Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Fast and High-Quality Image Denoising via Malleable Convolutions [72.18723834537494]
  動的畳み込みの効率的な変種として、Malleable Convolution (MalleConv)を提案する。 以前の作品とは異なり、MalleConvは入力から空間的に変化するカーネルのより小さなセットを生成する。 また、MalleNetという造語であるMalleConvを用いて、効率的なdenoisingネットワークを構築した。
  論文  参考訳（メタデータ） (2022-01-02T18:35:20Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks [16.169176006544436]
  本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。 MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
  論文  参考訳（メタデータ） (2020-04-22T16:58:05Z)
• Kernel Quantization for Efficient Network Compression [59.55192551370948]
  Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。 重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
  論文  参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。