Fugu-MT 論文翻訳(概要): Omni-Dimensional Dynamic Convolution

論文の概要: Omni-Dimensional Dynamic Convolution

arxiv url: http://arxiv.org/abs/2209.07947v1
Date: Fri, 16 Sep 2022 14:05:38 GMT
ステータス: 処理完了
システム内更新日: 2022-09-19 11:40:14.218703
Title: Omni-Dimensional Dynamic Convolution
Title（参考訳）: オムニ次元動的畳み込み
Authors: Chao Li, Aojun Zhou, Anbang Yao
Abstract要約: 各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
参考スコア（独自算出の注目度）: 25.78940854339179
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning a single static convolutional kernel in each convolutional layer is the common training paradigm of modern Convolutional Neural Networks (CNNs). Instead, recent research in dynamic convolution shows that learning a linear combination of $n$ convolutional kernels weighted with their input-dependent attentions can significantly improve the accuracy of light-weight CNNs, while maintaining efficient inference. However, we observe that existing works endow convolutional kernels with the dynamic property through one dimension (regarding the convolutional kernel number) of the kernel space, but the other three dimensions (regarding the spatial size, the input channel number and the output channel number for each convolutional kernel) are overlooked. Inspired by this, we present Omni-dimensional Dynamic Convolution (ODConv), a more generalized yet elegant dynamic convolution design, to advance this line of research. ODConv leverages a novel multi-dimensional attention mechanism with a parallel strategy to learn complementary attentions for convolutional kernels along all four dimensions of the kernel space at any convolutional layer. As a drop-in replacement of regular convolutions, ODConv can be plugged into many CNN architectures. Extensive experiments on the ImageNet and MS-COCO datasets show that ODConv brings solid accuracy boosts for various prevailing CNN backbones including both light-weight and large ones, e.g., 3.77%~5.71%|1.86%~3.72% absolute top-1 improvements to MobivleNetV2|ResNet family on the ImageNet dataset. Intriguingly, thanks to its improved feature learning ability, ODConv with even one single kernel can compete with or outperform existing dynamic convolution counterparts with multiple kernels, substantially reducing extra parameters. Furthermore, ODConv is also superior to other attention modules for modulating the output features or the convolutional weights.
Abstract（参考訳）: 各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の一般的なトレーニングパラダイムである。代わりに、動的畳み込みに関する最近の研究は、入力依存の注意を重み付けて、n$畳み込みカーネルの線形結合を学習することで、効率的な推論を維持しながら、軽量cnnの精度を大幅に向上できることを示している。しかしながら、既存の作業では、カーネル空間の1次元(畳み込みカーネル数を除く)を通して動的特性を持つ畳み込みカーネルを許容しているが、他の3次元(空間サイズ、入力チャネル数、各畳み込みカーネルの出力チャネル数)は見落としている。これに触発されて、より一般化されながらエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を紹介し、この研究を前進させる。 ODConvは並列戦略を持つ新しい多次元アテンション機構を利用して、任意の畳み込み層におけるカーネル空間の4次元すべてに沿って、畳み込みカーネルの補完的なアテンションを学ぶ。通常の畳み込みの代替として、ODConvは多くのCNNアーキテクチャにプラグインできる。 ImageNetとMS-COCOデータセットの大規模な実験により、ODConvは、軽量と大型のCNNバックボーン、例えば3.77%〜5.71%|1.86%〜3.72%の絶対的トップ1の改善を、ImageNetデータセット上のMobivleNetV2|ResNetファミリで実現した。興味深いことに、機能学習能力の改善により、1つのカーネルを持つODConvは、既存の動的畳み込みと複数のカーネルとの競合や性能を競うことができ、パラメータが大幅に削減される。さらに、ODConvは出力特性や畳み込み重みを調節する他の注意モジュールよりも優れている。

関連論文リスト

KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文参考訳（メタデータ） (2024-06-12T05:16:26Z)
ParCNetV2: Oversized Kernel with Enhanced Attention [60.141606180434195]
我々はParCNetV2という畳み込みニューラルネットワークアーキテクチャを導入する。位置認識型円形畳み込み(ParCNet)を拡張し、大きめの畳み込みを施し、分岐ゲートユニットを通して注意を向ける。提案手法は、CNNとトランスフォーマーをハイブリッド化するニューラルネットワークと同様に、他の純粋な畳み込みニューラルネットワークよりも優れている。
論文参考訳（メタデータ） (2022-11-14T07:22:55Z)
DualConv: Dual Convolutional Kernels for Lightweight Deep Neural Networks [31.520543731423455]
本稿では,軽量深層ニューラルネットワーク構築のためのデュアル畳み込みカーネル(DualConv)を提案する。これらのネットワークアーキテクチャは、他の多くのタスクのバックボーンを形成するため、分類のためのDualConvを広範囲にテストしています。実験の結果、DualConvは構造的革新と組み合わせることで、ディープニューラルネットワークの計算コストとパラメータの数を著しく削減することがわかった。
論文参考訳（メタデータ） (2022-02-15T14:47:13Z)
Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
論文参考訳（メタデータ） (2022-02-06T03:56:19Z)
PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds [33.41204351513122]
PAConvは、3Dポイントクラウド処理のための汎用畳み込み操作です。カーネルはデータ駆動方式で構築されており、PAConvは2D畳み込みよりも柔軟性がある。単純なネットワーク上で構築された場合でも、この手法は最先端のモデルにアプローチしたり、超えたりします。
論文参考訳（メタデータ） (2021-03-26T17:52:38Z)
Revisiting Dynamic Convolution via Matrix Decomposition [81.89967403872147]
チャネル群に対する動的注意を置き換える動的チャネル融合を提案する。本手法は訓練が容易で,精度を犠牲にすることなくパラメータを著しく削減する。
論文参考訳（メタデータ） (2021-03-15T23:03:18Z)
PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale Convolutional Layer [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
論文参考訳（メタデータ） (2020-07-13T05:14:11Z)
DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
論文参考訳（メタデータ） (2020-06-22T06:57:10Z)
Dynamic Region-Aware Convolution [85.20099799084026]
本稿では,複数のフィルタを対応する空間領域に自動的に割り当てる動的領域認識畳み込み(DRConv)を提案する。 ImageNet分類において、DRConvベースのShuffleNetV2-0.5xは6.3%の相対的な改善と46M乗算加算レベルで67.1%の最先端性能を達成する。
論文参考訳（メタデータ） (2020-03-27T05:49:57Z)
XSepConv: Extremely Separated Convolution [60.90871656244126]
極めて分離された畳み込みブロック(XSepConv)を提案する。空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
論文参考訳（メタデータ） (2020-02-27T11:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。