論文の概要: KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution
- arxiv url: http://arxiv.org/abs/2308.08361v1
- Date: Wed, 16 Aug 2023 13:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 13:24:58.634983
- Title: KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution
- Title（参考訳）: kernelwarehouse:パラメータ効率の高い動的畳み込みに向けて
- Authors: Chao Li, Anbang Yao
- Abstract要約: 動的畳み込みは、サンプル依存の注意を重み付けした$n$の静的カーネルの線形混合を学習する。
既存の設計はパラメータ非効率であり、畳み込みパラメータの数を$n$倍に増やす。
我々はパラメータ効率と表現力のトレードオフをうまく行うことができる$ KernelWarehouseを提案する。
- 参考スコア（独自算出の注目度）: 19.021411176761738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic convolution learns a linear mixture of $n$ static kernels weighted
with their sample-dependent attentions, demonstrating superior performance
compared to normal convolution. However, existing designs are
parameter-inefficient: they increase the number of convolutional parameters by
$n$ times. This and the optimization difficulty lead to no research progress in
dynamic convolution that can allow us to use a significant large value of $n$
(e.g., $n>100$ instead of typical setting $n<10$) to push forward the
performance boundary. In this paper, we propose $KernelWarehouse$, a more
general form of dynamic convolution, which can strike a favorable trade-off
between parameter efficiency and representation power. Its key idea is to
redefine the basic concepts of "$kernels$" and "$assembling$ $kernels$" in
dynamic convolution from the perspective of reducing kernel dimension and
increasing kernel number significantly. In principle, KernelWarehouse enhances
convolutional parameter dependencies within the same layer and across
successive layers via tactful kernel partition and warehouse sharing, yielding
a high degree of freedom to fit a desired parameter budget. We validate our
method on ImageNet and MS-COCO datasets with different ConvNet architectures,
and show that it attains state-of-the-art results. For instance, the
ResNet18|ResNet50|MobileNetV2|ConvNeXt-Tiny model trained with KernelWarehouse
on ImageNet reaches 76.05%|81.05%|75.52%|82.51% top-1 accuracy. Thanks to its
flexible design, KernelWarehouse can even reduce the model size of a ConvNet
while improving the accuracy, e.g., our ResNet18 model with 36.45%|65.10%
parameter reduction to the baseline shows 2.89%|2.29% absolute improvement to
top-1 accuracy.
- Abstract（参考訳）: 動的畳み込み(dynamic convolution)は、サンプル依存の注意を重み付けて、n$静的カーネルの線形混合を学習し、通常の畳み込みよりも優れた性能を示す。
しかし、既存の設計はパラメータ非効率であり、畳み込みパラメータの数をn$で増加させる。
これと最適化の難しさは、動的畳み込みの研究の進展を招き、パフォーマンスバウンダリを前進させるために典型的な$n<10$設定ではなく$n>100$という大きな値を使うことを可能にします。
本稿では,より一般的な動的畳み込み形式である$kernelwarehouse$を提案する。
その鍵となる考え方は、「$kernels$」と「$assembling$ $kernels$」の基本概念をカーネル次元の減少とカーネル数の増加の観点から動的畳み込みにおいて再定義することである。
原則として、KernelWarehouseは、触発的なカーネルパーティションとウェアハウス共有を通じて、同じレイヤ内および連続するレイヤ間の畳み込みパラメータ依存性を強化し、望ましいパラメータ予算に適合する高い自由を提供する。
我々は,異なるConvNetアーキテクチャを持つImageNetおよびMS-COCOデータセット上で本手法の有効性を検証し,その結果が得られたことを示す。
例えば、ResNet18|ResNet50|MobileNetV2|ConvNeXt-Tinyモデルは、ImageNet上でKernelWarehouseでトレーニングされ、76.05%|81.05%|75.52%|82.51%のトップ-1精度に達した。
例えば、36.45%|65.10%のパラメータをベースラインに還元したResNet18モデルは、トップ1の精度に対して2.89%|2.29%の絶対的な改善を示している。
関連論文リスト
- KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。
我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-12T05:16:26Z) - PeLK: Parameter-efficient Large Kernel ConvNets with Peripheral Convolution [35.1473732030645]
人間の視覚に触発されて、高密度グリッド畳み込みの90%以上のパラメータ数を効率的に削減する、ヒトのような周辺畳み込みを提案する。
末梢のコンボリューションは人間と非常によく似ており,O(K2) から O(logK) へのコンボリューションの複雑度を低下させる。
初めて、CNNのカーネルサイズを前例のない101x101にスケールアップし、一貫した改善を実証しました。
論文 参考訳（メタデータ） (2024-03-12T12:19:05Z) - Fully $1\times1$ Convolutional Network for Lightweight Image
Super-Resolution [79.04007257606862]
ディープモデルは、シングルイメージ超解像(SISR)タスク、特に大きなカーネルを持つ大きなモデル(3時間3ドル以上)において重要なプロセスを持つ。
$1times1$の畳み込みは計算効率を大幅に向上させるが、局所的な空間表現の集約に苦労する。
我々は、Shift-Conv-based Network (SCNet) という、シンプルで効果的な1時間1ドルの畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-07-30T06:24:03Z) - Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for
Medical Image Segmentation [25.62587471067468]
RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。
人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
論文 参考訳（メタデータ） (2023-03-10T08:38:34Z) - PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。
我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。
提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
論文 参考訳（メタデータ） (2022-11-10T12:42:43Z) - Efficient CNN Architecture Design Guided by Visualization [13.074652653088584]
VGNetG-1.0MPは0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%である。
我々のVGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
論文 参考訳（メタデータ） (2022-07-21T06:22:15Z) - Fast and High-Quality Image Denoising via Malleable Convolutions [72.18723834537494]
動的畳み込みの効率的な変種として、Malleable Convolution (MalleConv)を提案する。
以前の作品とは異なり、MalleConvは入力から空間的に変化するカーネルのより小さなセットを生成する。
また、MalleNetという造語であるMalleConvを用いて、効率的なdenoisingネットワークを構築した。
論文 参考訳（メタデータ） (2022-01-02T18:35:20Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - DyNet: Dynamic Convolution for Accelerating Convolutional Neural
Networks [16.169176006544436]
本稿では,画像内容に基づいてコンボリューションカーネルを適応的に生成する動的畳み込み手法を提案する。
MobileNetV3-Small/Largeアーキテクチャに基づいて、DyNetはImageNet上で70.3/77.1%のTop-1精度を達成し、2.9/1.9%改善した。
論文 参考訳（メタデータ） (2020-04-22T16:58:05Z) - Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。
重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。
ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文 参考訳（メタデータ） (2020-03-11T08:00:04Z) - XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。
空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。
XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文 参考訳（メタデータ） (2020-02-27T11:46:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。