論文の概要: Dilated convolution with learnable spacings

• arxiv url: http://arxiv.org/abs/2112.03740v1
• Date: Tue, 7 Dec 2021 14:54:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 18:40:29.802286
• Title: Dilated convolution with learnable spacings
• Title（参考訳）: 学習可能な間隔による拡張畳み込み
• Authors: Ismail Khalfaoui Hassani, Thomas Pellegrini and Timoth\'ee Masquelier
• Abstract要約: 拡張された畳み込みの新たなバージョンを提示し,そのスペーシングをバックプロパゲーションにより学習可能にする。 本稿では,最近のConvMixerアーキテクチャにおける深度畳み込みの学習可能なパラメータ数を削減できることを示す。
• 参考スコア（独自算出の注目度）: 2.707154152696381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dilated convolution is basically a convolution with a wider kernel created by regularly inserting spaces between the kernel elements. In this article, we present a new version of the dilated convolution in which the spacings are made learnable via backpropagation through an interpolation technique. We call this method "Dilated Convolution with Learnable Spacings" (DCLS) and we generalize its approach to the n-dimensional convolution case. However, our main focus here will be the 2D case for which we developed two implementations: a naive one that constructs the dilated kernel, suitable for small dilation rates, and a more time/memory efficient one that uses a modified version of the "im2col" algorithm. We then illustrate how this technique improves the accuracy of existing architectures on semantic segmentation task on Pascal Voc 2012 dataset via a simple drop-in replacement of the classical dilated convolutional layers by DCLS ones. Furthermore, we show that DCLS allows to reduce the number of learnable parameters of the depthwise convolutions used in the recent ConvMixer architecture by a factor 3 with no or very low reduction in accuracy and that by replacing large dense kernels with sparse DCLS ones. The code of the method is based on Pytorch and available at: https://github.com/K-H-Ismail/Dilated-Convolution-with-Learnable-Spacings-PyTorch.
• Abstract（参考訳）: 拡張畳み込み(Dilated convolution)は、カーネル要素間の空間を定期的に挿入することによって作られるより広いカーネルとの畳み込みである。 本稿では,拡張畳み込みの新たなバージョンについて,補間手法によるバックプロパゲーションによりスペーシングを学習可能にした。 我々はこの手法を"Dilated Convolution with Learnable Spacings" (DCLS)と呼び、そのアプローチをn次元畳み込みケースに一般化する。 しかし、ここでの主な焦点は、2つの実装を開発した2dケースである:小さな拡張レートに適した拡張カーネルを構築するナイーブなケースと、"im2col"アルゴリズムの修正バージョンを使用するより時間/メモリ効率のよい実装です。 次に,従来の拡張畳み込み層をDCLSで簡易に置き換えることで,Pascal Voc 2012データセットのセマンティックセグメンテーションタスクにおける既存アーキテクチャの精度を向上させる方法について述べる。 さらに,最近のconvmixerアーキテクチャで使用される奥行き方向畳み込みの学習可能なパラメータ数を,精度の無あるいは極めて低い因子3で削減できることを示すとともに,大規模高密度カーネルをスパースdclsに置き換えることで,学習可能なパラメータ数を削減できることを示した。 メソッドのコードはPytorchに基づいており、https://github.com/K-H-Ismail/Dilated-Convolution-with-Learnable-Spacings-PyTorchで利用できる。

関連論文リスト

• LDConv: Linear deformable convolution for improving convolutional neural networks [18.814748446649627]
  Linear Deformable Convolution (LDConv) は、ネットワーク性能を改善するために畳み込み操作を置き換えることができる、プラグアンドプレイの畳み込み操作である。 LDConvは、標準畳み込みと変形可能なConvのパラメータ数の成長傾向を線形成長に補正する。
  論文  参考訳（メタデータ） (2023-11-20T07:54:54Z)
• Audio classification with Dilated Convolution with Learnable Spacings [10.89964981012741]
  学習可能な間隔による拡張畳み込み(DCLS)は、バックプロパゲーションによるトレーニングを通じてカーネル要素の位置を学習する最近の畳み込み法である。 ここでは、AudioSet分類ベンチマークを用いて、DCLSはオーディオタグ付けにも有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-25T09:09:54Z)
• Dilated Convolution with Learnable Spacings: beyond bilinear interpolation [10.89964981012741]
  Dilated Convolution with Learnable Spacingsは拡張畳み込みのバリエーションとして提案されている。 非整数位置は勾配によって処理される。 メソッドコードはPyTorchに基づいている。
  論文  参考訳（メタデータ） (2023-06-01T15:42:08Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• An Improved Normed-Deformable Convolution for Crowd Counting [70.02434289611566]
  頭の中のCNN機能のスケール適応機能を活用するために、変形可能な畳み込みを提案する。 本論文では,改良されたノーマッド・デフォルマブル・コンボリューション(textiti.e.NDConv)を提案する。 本手法は,上海技術A,上海技術B,UCF_QNRF,UCF_CC_50データセットの最先端手法より優れている。
  論文  参考訳（メタデータ） (2022-06-16T10:56:26Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• Hyper-Convolutions via Implicit Kernels for Medical Imaging [18.98078260974008]
  本稿では、空間座標を用いて畳み込みカーネルを暗黙的に符号化する新しいビルディングブロックであるthithyper-convolutionを提案する。 実験では、通常の畳み込みをハイパー畳み込みに置き換えることで、少ないパラメータで性能が向上し、ノイズに対する堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2022-02-06T03:56:19Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• DO-Conv: Depthwise Over-parameterized Convolutional Layer [66.46704754669169]
  本稿では,各入力チャネルが異なる2次元カーネルに変換されるような,奥行きの畳み込みを付加した畳み込み層の拡張を提案する。 従来の畳み込み層をDO-Conv層に置き換えただけでCNNの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-22T06:57:10Z)
• XSepConv: Extremely Separated Convolution [60.90871656244126]
  極めて分離された畳み込みブロック(XSepConv)を提案する。 空間的に分離可能な畳み込みを奥行きの畳み込みに融合させ、大きなカーネルの計算コストとパラメータサイズの両方を削減する。 XSepConvは、大規模なカーネルサイズを持つバニラ奥行きの畳み込みの効率的な代替として設計されている。
  論文  参考訳（メタデータ） (2020-02-27T11:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。