論文の概要: Rethinking 1x1 Convolutions: Can we train CNNs with Frozen Random Filters?

• arxiv url: http://arxiv.org/abs/2301.11360v1
• Date: Thu, 26 Jan 2023 19:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 17:24:26.607098
• Title: Rethinking 1x1 Convolutions: Can we train CNNs with Frozen Random Filters?
• Title（参考訳）: 1x1の畳み込みを再考する: 凍結ランダムフィルタでCNNをトレーニングできるか?
• Authors: Paul Gavrikov and Janis Keuper
• Abstract要約: 特定のCNNアーキテクチャをトレーニングすることで、標準トレーニングの精度を超えることができることを示す。 本研究では,すべての空間畳み込み層間で1つの重みテンソルを共有可能な新しい重み共有機構を提案する。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern CNNs are learning the weights of vast numbers of convolutional operators. In this paper, we raise the fundamental question if this is actually necessary. We show that even in the extreme case of only randomly initializing and never updating spatial filters, certain CNN architectures can be trained to surpass the accuracy of standard training. By reinterpreting the notion of pointwise ($1\times 1$) convolutions as an operator to learn linear combinations (LC) of frozen (random) spatial filters, we are able to analyze these effects and propose a generic LC convolution block that allows tuning of the linear combination rate. Empirically, we show that this approach not only allows us to reach high test accuracies on CIFAR and ImageNet but also has favorable properties regarding model robustness, generalization, sparsity, and the total number of necessary weights. Additionally, we propose a novel weight sharing mechanism, which allows sharing of a single weight tensor between all spatial convolution layers to massively reduce the number of weights.
• Abstract（参考訳）: 現代のCNNは多数の畳み込み演算子の重みを学習している。 本稿では,これが実際に必要かどうかという基本的な疑問を提起する。 空間フィルタをランダムに初期化して更新しない極端な場合においても、特定のCNNアーキテクチャは標準トレーニングの精度を超えるように訓練可能であることを示す。 凍結された(ランダムな)空間フィルタの線形結合(LC)を学習する演算子として、ポイントワイズ(1\times 1$)畳み込みの概念を再解釈することにより、これらの効果を分析し、線形結合率のチューニングを可能にする汎用LC畳み込みブロックを提案する。 実験により,本手法はCIFAR や ImageNet 上で高い精度を達成できるだけでなく,モデルロバスト性,一般化,空間性,必要な重量の総数に関して,良好な特性を持つことを示す。 さらに,全空間畳み込み層間の1重みテンソルの共有を可能とし,重み数を大幅に削減できる新しい重み共有機構を提案する。

関連論文リスト

• Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features [0.0]
  本稿では、バイアス畳み込みニューラルネットワーク(CNN)に対する新しい正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 テスト精度は、4つの挑戦的なきめ細かい分類データセットに対して5-11ポイントのマージンで改善される。
  論文  参考訳（メタデータ） (2024-10-22T11:02:32Z)
• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。