論文の概要: Rethinking Depthwise Separable Convolutions: How Intra-Kernel
Correlations Lead to Improved MobileNets
- arxiv url: http://arxiv.org/abs/2003.13549v3
- Date: Mon, 13 Jul 2020 14:57:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 08:03:00.918187
- Title: Rethinking Depthwise Separable Convolutions: How Intra-Kernel
Correlations Lead to Improved MobileNets
- Title（参考訳）: Depthwise Separable Convolutionsの再考 - カーネル内相関がモバイルネットワークの改善にどのように寄与するか
- Authors: Daniel Haase and Manuel Amthor
- Abstract要約: CNNのための高効率なビルディングブロックとして,ブループリント分離型畳み込み(BSConv)を導入する。
それらは、訓練されたモデルからカーネル特性の定量的解析によって動機付けられている。
我々のアプローチは、深く分離可能な畳み込みの適用のために、完全な理論的導出、解釈、正当化を提供する。
- 参考スコア（独自算出の注目度）: 6.09170287691728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce blueprint separable convolutions (BSConv) as highly efficient
building blocks for CNNs. They are motivated by quantitative analyses of kernel
properties from trained models, which show the dominance of correlations along
the depth axis. Based on our findings, we formulate a theoretical foundation
from which we derive efficient implementations using only standard layers.
Moreover, our approach provides a thorough theoretical derivation,
interpretation, and justification for the application of depthwise separable
convolutions (DSCs) in general, which have become the basis of many modern
network architectures. Ultimately, we reveal that DSC-based architectures such
as MobileNets implicitly rely on cross-kernel correlations, while our BSConv
formulation is based on intra-kernel correlations and thus allows for a more
efficient separation of regular convolutions. Extensive experiments on
large-scale and fine-grained classification datasets show that BSConvs clearly
and consistently improve MobileNets and other DSC-based architectures without
introducing any further complexity. For fine-grained datasets, we achieve an
improvement of up to 13.7 percentage points. In addition, if used as drop-in
replacement for standard architectures such as ResNets, BSConv variants also
outperform their vanilla counterparts by up to 9.5 percentage points on
ImageNet. Code and models are available under
https://github.com/zeiss-microscopy/BSConv.
- Abstract（参考訳）: 我々は、cnnの高効率なビルディングブロックとしてbsconv(blueprint separable convolutions)を紹介する。
それらは、深さ軸に沿った相関の優位を示す訓練されたモデルからの核特性の定量的解析によって動機付けられる。
本研究は,標準層のみを用いて効率的な実装を導出する理論的基礎を定式化した。
さらに,本手法は,近年のネットワークアーキテクチャの基盤となっている深部分離型畳み込み(DSC)の適用を,理論的に完全に導出し,解釈し,正当化するものである。
最終的に、MobileNetsのようなDSCベースのアーキテクチャはカーネル間の相関に暗黙的に依存しているのに対し、BSConvの定式化はカーネル内相関に基づいており、通常の畳み込みをより効率的に分離することができる。
大規模かつきめ細かい分類データセットに関する大規模な実験は、BSConvsがさらなる複雑さを導入することなく、MobileNetsや他のDSCベースのアーキテクチャを明確かつ一貫して改善していることを示している。
きめ細かいデータセットについては、最大13.7ポイントの改善を達成します。
さらに、ResNetsのような標準アーキテクチャのドロップイン代替として使われる場合、BSConvはImageNet上で最大9.5ポイントのベニラ性能を持つ。
コードとモデルはhttps://github.com/zeiss-microscopy/bsconvで入手できる。
関連論文リスト
- DenseNets Reloaded: Paradigm Shift Beyond ResNets and ViTs [30.412909498409192]
この論文はDensely Connected Convolutional Networks (DenseNets)を復活させる。
DenseNetsのポテンシャルは、未修正のトレーニングメソッドと従来のデザイン要素が機能を完全に明らかにしていないために見過ごされてしまったと信じています。
我々は,DenseNetスタイルの設計に対して新たな好みを定めながら,付加的なショートカットに対する結合のメリットを明らかにする経験的分析を行う。
論文 参考訳（メタデータ） (2024-03-28T17:12:39Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - SmoothNets: Optimizing CNN architecture design for differentially
private deep learning [69.10072367807095]
DPSGDは、サンプルごとの勾配の切り抜きとノイズ付けを必要とする。
これにより、非プライベートトレーニングと比較してモデルユーティリティが削減される。
SmoothNetと呼ばれる新しいモデルアーキテクチャを蒸留し,DP-SGDトレーニングの課題に対するロバスト性の向上を特徴とした。
論文 参考訳（メタデータ） (2022-05-09T07:51:54Z) - Comparison Analysis of Traditional Machine Learning and Deep Learning
Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。
まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。
次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文 参考訳（メタデータ） (2022-04-11T11:34:43Z) - Learning Target-aware Representation for Visual Tracking via Informative
Interactions [49.552877881662475]
トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。
提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
論文 参考訳（メタデータ） (2022-01-07T16:22:27Z) - Rapid training of deep neural networks without skip connections or
normalization layers using Deep Kernel Shaping [46.083745557823164]
我々は、深層ネットワークに存在する主な病理組織を特定し、それらが高速にトレーニングされ、目に見えないデータに一般化されるのを防ぐ。
本稿では,ネットワークのカーネル関数の「形状」を慎重に制御することで,これらを回避する方法を示す。
論文 参考訳（メタデータ） (2021-10-05T00:49:36Z) - Single-stream CNN with Learnable Architecture for Multi-source Remote
Sensing Data [16.810239678639288]
マルチソースリモートセンシングデータ共同分類のための,深層畳み込みニューラルネットワーク(CNN)に基づく効率的なフレームワークを提案する。
提案手法は,最新のCNNモデルを任意のマルチソースリモートセンシングデータセットに理論的に調整することができる。
実験により,提案したシングルストリームCNNの有効性が示された。
論文 参考訳（メタデータ） (2021-09-13T16:10:41Z) - Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network
Optimization [16.85167651136133]
スパースネットワークのトレーニングについて、より広い視点で考察し、スパースモデルにおける正規化、最適化、アーキテクチャ選択の役割について考察する。
アーキテクチャ設計とトレーニング体制の側面を再考することにより,スパースネットワーク内の勾配流を改善することができることを示す。
論文 参考訳（メタデータ） (2021-02-02T18:40:26Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳（メタデータ） (2020-09-04T20:41:47Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳（メタデータ） (2020-06-29T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。