論文の概要: Understanding the Covariance Structure of Convolutional Filters

• arxiv url: http://arxiv.org/abs/2210.03651v1
• Date: Fri, 7 Oct 2022 15:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 12:39:37.662448
• Title: Understanding the Covariance Structure of Convolutional Filters
• Title（参考訳）: 畳み込みフィルタの共分散構造を理解する
• Authors: Asher Trockman, Devin Willmott, J. Zico Kolter
• Abstract要約: 最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
• 参考スコア（独自算出の注目度）: 86.0964031294896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network weights are typically initialized at random from univariate distributions, controlling just the variance of individual weights even in highly-structured operations like convolutions. Recent ViT-inspired convolutional networks such as ConvMixer and ConvNeXt use large-kernel depthwise convolutions whose learned filters have notable structure; this presents an opportunity to study their empirical covariances. In this work, we first observe that such learned filters have highly-structured covariance matrices, and moreover, we find that covariances calculated from small networks may be used to effectively initialize a variety of larger networks of different depths, widths, patch sizes, and kernel sizes, indicating a degree of model-independence to the covariance structure. Motivated by these findings, we then propose a learning-free multivariate initialization scheme for convolutional filters using a simple, closed-form construction of their covariance. Models using our initialization outperform those using traditional univariate initializations, and typically meet or exceed the performance of those initialized from the covariances of learned filters; in some cases, this improvement can be achieved without training the depthwise convolutional filters at all.
• Abstract（参考訳）: ニューラルネットワークの重みは通常、不定値分布からランダムに初期化され、畳み込みのような高構造な操作においても個々の重みの分散のみを制御する。 近年のViTにインスパイアされたConvMixerやConvNeXtのような畳み込みネットワークでは、学習フィルタが顕著な構造を持つ大カーネル深度畳み込みが用いられている。 そこで本研究では,このような学習フィルタが高構造共分散行列を持つことを最初に観察し,さらに,小ネットワークから計算した共分散を用いて,異なる深さ,幅,パッチサイズ,カーネルサイズのネットワークを効果的に初期化し,共分散構造に対するモデル依存性の程度を示すことを見出した。 これらの結果から,共分散の簡単な閉形式構成を用いた畳み込みフィルタの学習自由な多変量初期化手法を提案する。 我々の初期化を用いたモデルは、従来の単変量初期化を用いたモデルよりも優れており、学習されたフィルタの共分散から初期化したものの性能を満たしたり、超えたりすることが一般的である。

関連論文リスト

• On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing [12.845681770287005]
  畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。
  論文  参考訳（メタデータ） (2024-11-21T16:36:01Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks [2.8597160727750564]
  この研究はベイジアンネットワークによって定義された任意の依存構造をVAEに組み込むことを検討する。 これは、事前と推論のネットワークをグラフィカルな残留フローで拡張することで実現される。 モデルの性能をいくつかの合成データセットで比較し、データスパース設定におけるその可能性を示す。
  論文  参考訳（メタデータ） (2022-04-23T10:31:08Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。