論文の概要: The Power of Linear Combinations: Learning with Random Convolutions

• arxiv url: http://arxiv.org/abs/2301.11360v2
• Date: Wed, 21 Jun 2023 19:56:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 17:41:20.785966
• Title: The Power of Linear Combinations: Learning with Random Convolutions
• Title（参考訳）: 線形結合の力:ランダム畳み込みによる学習
• Authors: Paul Gavrikov and Janis Keuper
• Abstract要約: 現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Following the traditional paradigm of convolutional neural networks (CNNs), modern CNNs manage to keep pace with more recent, for example transformer-based, models by not only increasing model depth and width but also the kernel size. This results in large amounts of learnable model parameters that need to be handled during training. While following the convolutional paradigm with the according spatial inductive bias, we question the significance of \emph{learned} convolution filters. In fact, our findings demonstrate that many contemporary CNN architectures can achieve high test accuracies without ever updating randomly initialized (spatial) convolution filters. Instead, simple linear combinations (implemented through efficient $1\times 1$ convolutions) suffice to effectively recombine even random filters into expressive network operators. Furthermore, these combinations of random filters can implicitly regularize the resulting operations, mitigating overfitting and enhancing overall performance and robustness. Conversely, retaining the ability to learn filter updates can impair network performance. Lastly, although we only observe relatively small gains from learning $3\times 3$ convolutions, the learning gains increase proportionally with kernel size, owing to the non-idealities of the independent and identically distributed (\textit{i.i.d.}) nature of default initialization techniques.
• Abstract（参考訳）: 従来の畳み込みニューラルネットワーク(CNN)のパラダイムに従って、現代のCNNは、モデル深さと幅を増大させるだけでなく、カーネルサイズを拡大することで、例えばトランスフォーマーベースのモデルのように、より最近のモデルとペースを維持することができる。 これにより、トレーニング中に扱う必要のある学習可能なモデルパラメータが大量に発生します。 空間帰納バイアスによる畳み込みのパラダイムに従う一方で, \emph{learned} 畳み込みフィルタの重要性を疑問視する。 実際,現代のCNNアーキテクチャの多くは,ランダムに初期化(空間的)畳み込みフィルタを更新することなく高い精度でテストを行うことができる。 代わりに、単純な線形結合(効率の良い$1\times 1$ convolutionsによって実装される)は、ランダムフィルタを効率よく表現力のあるネットワーク演算子に再結合するのに十分である。 さらに、これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に規則化し、オーバーフィッティングを緩和し、全体的なパフォーマンスと堅牢性を向上させる。 逆に、フィルタ更新を学習する能力を保持することは、ネットワーク性能を損なう可能性がある。 最後に、$3\times 3$ convolutionsの学習による比較的小さなゲインのみを観察するが、デフォルト初期化技法の非理想性(\textit{i.d.})のため、学習のゲインはカーネルサイズに比例して増加する。

関連論文リスト

• Enhancing Generalization in Convolutional Neural Networks through Regularization with Edge and Line Features [0.0]
  本稿では、バイアス畳み込みニューラルネットワーク(CNN)に対する新しい正規化手法を提案する。 任意のカーネルを学ぶのではなく、畳み込み層をエッジとライン検出カーネルに制約する。 テスト精度は、4つの挑戦的なきめ細かい分類データセットに対して5-11ポイントのマージンで改善される。
  論文  参考訳（メタデータ） (2024-10-22T11:02:32Z)
• As large as it gets: Learning infinitely large Filters via Neural Implicit Functions in the Fourier Domain [22.512062422338914]
  画像分類のためのニューラルネットワークの最近の研究は、空間的文脈を増大させる傾向が強い。 本稿では,畳み込みニューラルネットワークの有効フィルタサイズを研究するためのモジュールを提案する。 提案するネットワークは非常に大きな畳み込みカーネルを学習できるが、学習されたフィルタは十分に局所化されており、実際は比較的小さい。
  論文  参考訳（メタデータ） (2023-07-19T14:21:11Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
  我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。 焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。 スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
  論文  参考訳（メタデータ） (2022-04-26T17:34:10Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)
• Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters [64.46270549587004]
  畳み込みニューラルネットワーク(CNN)は、様々なタスクでうまく使われている。 CNNは、しばしば「ブラックボックス」と解釈可能性の欠如とみなされる。 本稿では,クラス固有のフィルタを奨励することで,解釈可能なCNNを訓練する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-16T09:12:26Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。