論文の概要: Rethinking 1x1 Convolutions: Can we train CNNs with Frozen Random
Filters?
- arxiv url: http://arxiv.org/abs/2301.11360v1
- Date: Thu, 26 Jan 2023 19:17:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 17:24:26.607098
- Title: Rethinking 1x1 Convolutions: Can we train CNNs with Frozen Random
Filters?
- Title(参考訳): 1x1の畳み込みを再考する: 凍結ランダムフィルタでCNNをトレーニングできるか?
- Authors: Paul Gavrikov and Janis Keuper
- Abstract要約: 特定のCNNアーキテクチャをトレーニングすることで、標準トレーニングの精度を超えることができることを示す。
本研究では,すべての空間畳み込み層間で1つの重みテンソルを共有可能な新しい重み共有機構を提案する。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern CNNs are learning the weights of vast numbers of convolutional
operators. In this paper, we raise the fundamental question if this is actually
necessary. We show that even in the extreme case of only randomly initializing
and never updating spatial filters, certain CNN architectures can be trained to
surpass the accuracy of standard training. By reinterpreting the notion of
pointwise ($1\times 1$) convolutions as an operator to learn linear
combinations (LC) of frozen (random) spatial filters, we are able to analyze
these effects and propose a generic LC convolution block that allows tuning of
the linear combination rate. Empirically, we show that this approach not only
allows us to reach high test accuracies on CIFAR and ImageNet but also has
favorable properties regarding model robustness, generalization, sparsity, and
the total number of necessary weights. Additionally, we propose a novel weight
sharing mechanism, which allows sharing of a single weight tensor between all
spatial convolution layers to massively reduce the number of weights.
- Abstract(参考訳): 現代のCNNは多数の畳み込み演算子の重みを学習している。
本稿では,これが実際に必要かどうかという基本的な疑問を提起する。
空間フィルタをランダムに初期化して更新しない極端な場合においても、特定のCNNアーキテクチャは標準トレーニングの精度を超えるように訓練可能であることを示す。
凍結された(ランダムな)空間フィルタの線形結合(LC)を学習する演算子として、ポイントワイズ(1\times 1$)畳み込みの概念を再解釈することにより、これらの効果を分析し、線形結合率のチューニングを可能にする汎用LC畳み込みブロックを提案する。
実験により,本手法はCIFAR や ImageNet 上で高い精度を達成できるだけでなく,モデルロバスト性,一般化,空間性,必要な重量の総数に関して,良好な特性を持つことを示す。
さらに,全空間畳み込み層間の1重みテンソルの共有を可能とし,重み数を大幅に削減できる新しい重み共有機構を提案する。
関連論文リスト
- As large as it gets: Learning infinitely large Filters via Neural
Implicit Functions in the Fourier Domain [11.72025865314187]
我々は、視覚アプリケーションにおけるコンテキスト認識ニューラルネットワークにおいて、受容野が本当にどれほど大きい必要があるかを調査することを目的としている。
本稿では,ニューラルネットワークの暗黙関数としてフィルタ重みの空間的・周波数的表現を学習することを提案する。
結果として生じるニューラル暗黙周波数CNNは、大規模な画像分類ベンチマークの最先端と同等の結果を得る最初のモデルである。
論文 参考訳(メタデータ) (2023-07-19T14:21:11Z) - Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。
まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
論文 参考訳(メタデータ) (2022-10-07T15:59:13Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳(メタデータ) (2022-04-26T17:34:10Z) - DeConFuse : A Deep Convolutional Transform based Unsupervised Fusion
Framework [29.58965424136611]
本研究では、深層畳み込み変換学習に基づく教師なし融合フレームワークを提案する。
ストック予測とトレーディングの問題に対して,提案手法であるDeConFuseを適用した。
論文 参考訳(メタデータ) (2020-11-09T11:04:09Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Learning Sparse Filters in Deep Convolutional Neural Networks with a
l1/l2 Pseudo-Norm [5.3791844634527495]
ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。
近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。
フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
論文 参考訳(メタデータ) (2020-07-20T11:56:12Z) - Training Interpretable Convolutional Neural Networks by Differentiating
Class-specific Filters [64.46270549587004]
畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。
CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。
本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-16T09:12:26Z) - Computational optimization of convolutional neural networks using
separated filters architecture [69.73393478582027]
我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。
畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
論文 参考訳(メタデータ) (2020-02-18T17:42:13Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳(メタデータ) (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。