論文の概要: Integrating Circle Kernels into Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2107.02451v2
- Date: Wed, 7 Jul 2021 09:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 10:49:27.942311
- Title: Integrating Circle Kernels into Convolutional Neural Networks
- Title（参考訳）: 円核を畳み込みニューラルネットワークに統合する
- Authors: Kun He, Chao Li, Yixiao Yang, Gao Huang, John E. Hopcroft
- Abstract要約: 平方核は現代畳み込みニューラルネットワーク(CNN)の標準単位である
共進化のための等方性受容場を持つ円核を提案する。
我々のトレーニングは、対応するCNNの平方カーネルと比較すると、ほぼ同等の計算量である。
- 参考スコア（独自算出の注目度）: 30.950819638148104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The square kernel is a standard unit for contemporary Convolutional Neural
Networks (CNNs), as it fits well on the tensor computation for the convolution
operation. However, the receptive field in the human visual system is actually
isotropic like a circle. Motivated by this observation, we propose using circle
kernels with isotropic receptive fields for the convolution, and our training
takes approximately equivalent amount of calculation when compared with the
corresponding CNN with square kernels. Our preliminary experiments demonstrate
the rationality of circle kernels. We then propose a kernel boosting strategy
that integrates the circle kernels with square kernels for the training and
inference, and we further let the kernel size/radius be learnable during the
training. Note that we reparameterize the circle kernels or integrated kernels
before the inference, thus taking no extra computation as well as the number of
parameter overhead for the testing. Extensive experiments on several standard
datasets, ImageNet, CIFAR-10 and CIFAR-100, using the circle kernels or
integrated kernels on typical existing CNNs, show that our approach exhibits
highly competitive performance. Specifically, on ImageNet with standard data
augmentation, our approach dramatically boosts the performance of
MobileNetV3-Small by 5.20% top-1 accuracy and 3.39% top-5 accuracy, and boosts
the performance of MobileNetV3-Large by 2.16% top-1 accuracy and 1.18% top-5
accuracy.
- Abstract（参考訳）: 平方核は、畳み込み演算のテンソル計算によく適合するため、現代畳み込みニューラルネットワーク(CNN)の標準単位である。
しかし、人間の視覚系の受容野は実際には円のように等方的である。
本研究の目的は, 等方性受容場を持つ円核を畳み込みに利用することであり, 対応するCNNと正方形カーネルを比べた場合, ほぼ同等の計算量を必要とする。
予備実験では円核の有理性を示す。
次に、トレーニングと推論のために、円周カーネルと正方形カーネルを統合するカーネル強化戦略を提案し、さらに、トレーニング中にカーネルのサイズ/半径を学習できるようにする。
推測の前に円カーネルや統合カーネルを再パラメータ化するので、余分な計算やテストのパラメータオーバヘッドの数を必要としないことに注意してください。
いくつかの標準データセット(ImageNet, CIFAR-10, CIFAR-100)に対する大規模な実験により, 既存のCNNのサークルカーネルや統合カーネルを用いて, 高い競合性能を示した。
具体的には、標準データ拡張によるImageNetでは、MobileNetV3-Smallのパフォーマンスを5.20%、トップ5の3.39%で劇的に向上させ、MobileNetV3-Largeのパフォーマンスを2.16%、トップ5の1.18%で向上させる。
関連論文リスト
- KernelWarehouse: Rethinking the Design of Dynamic Convolution [16.101179962553385]
KernelWarehouseはカーネルの基本概念を再定義し、カーネルを組み立てる。
我々は、さまざまなConvNetアーキテクチャを用いて、ImageNetおよびMS-COCOデータセットにおけるKernelWarehouseの有効性を検証した。
論文 参考訳（メタデータ） (2024-06-12T05:16:26Z) - Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for
Medical Image Segmentation [25.62587471067468]
RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。
人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
論文 参考訳（メタデータ） (2023-03-10T08:38:34Z) - GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。
ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。
私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
論文 参考訳（メタデータ） (2023-02-09T10:17:17Z) - Omni-Dimensional Dynamic Convolution [25.78940854339179]
各畳み込み層で単一の静的畳み込みカーネルを学習することは、現代の畳み込みニューラルネットワーク(CNN)の共通の訓練パラダイムである。
動的畳み込みの最近の研究は、入力依存の注意を重み付けした$n$の畳み込みカーネルの線形結合を学習することで、軽量CNNの精度を大幅に向上させることができることを示している。
より一般化されているがエレガントな動的畳み込み設計であるOmni-dimensional Dynamic Convolution (ODConv)を提案する。
論文 参考訳（メタデータ） (2022-09-16T14:05:38Z) - Neural Fields as Learnable Kernels for 3D Reconstruction [101.54431372685018]
本稿では,学習したカーネルリッジの回帰に基づいて,暗黙の3次元形状を再構成する手法を提案する。
本手法は,3次元オブジェクトと大画面をスパース指向の点から再構成する際の最先端の処理結果を実現する。
論文 参考訳（メタデータ） (2021-11-26T18:59:04Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳（メタデータ） (2021-06-30T03:54:35Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Neural Kernels Without Tangents [34.527798084824575]
特徴の袋から「合成」カーネルを作成するための代数学について述べる。
これらの操作は, ニューラルタンジェントカーネル (NTK) の構成要素の多くに対応していることを示す。
論文 参考訳（メタデータ） (2020-03-04T18:25:41Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。