論文の概要: Mechanism of feature learning in convolutional neural networks

• arxiv url: http://arxiv.org/abs/2309.00570v1
• Date: Fri, 1 Sep 2023 16:30:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 12:48:28.240091
• Title: Mechanism of feature learning in convolutional neural networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける特徴学習のメカニズム
• Authors: Daniel Beaglehole, Adityanarayanan Radhakrishnan, Parthe Pandit, Mikhail Belkin
• Abstract要約: 我々は、畳み込みニューラルネットワークが画像データからどのように学習するかのメカニズムを特定する。 我々は,フィルタの共分散とパッチベースAGOPの相関関係の同定を含む,アンザッツの実証的証拠を提示する。 次に、パッチベースのAGOPを用いて、畳み込みカーネルマシンの深い特徴学習を可能にすることにより、結果の汎用性を実証する。
• 参考スコア（独自算出の注目度）: 14.612673151889615
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Understanding the mechanism of how convolutional neural networks learn features from image data is a fundamental problem in machine learning and computer vision. In this work, we identify such a mechanism. We posit the Convolutional Neural Feature Ansatz, which states that covariances of filters in any convolutional layer are proportional to the average gradient outer product (AGOP) taken with respect to patches of the input to that layer. We present extensive empirical evidence for our ansatz, including identifying high correlation between covariances of filters and patch-based AGOPs for convolutional layers in standard neural architectures, such as AlexNet, VGG, and ResNets pre-trained on ImageNet. We also provide supporting theoretical evidence. We then demonstrate the generality of our result by using the patch-based AGOP to enable deep feature learning in convolutional kernel machines. We refer to the resulting algorithm as (Deep) ConvRFM and show that our algorithm recovers similar features to deep convolutional networks including the notable emergence of edge detectors. Moreover, we find that Deep ConvRFM overcomes previously identified limitations of convolutional kernels, such as their inability to adapt to local signals in images and, as a result, leads to sizable performance improvement over fixed convolutional kernels.
• Abstract（参考訳）: 畳み込みニューラルネットワークが画像データから特徴をどのように学習するかを理解することは、機械学習とコンピュータビジョンの基本的な問題である。 本研究では,そのようなメカニズムを同定する。 我々は、任意の畳み込み層におけるフィルタの共分散が、その層への入力のパッチに対して取られる平均勾配外積(agop)に比例する、畳み込み神経特徴 ansatz を仮定する。 我々は,imagenetで事前学習したalexnet,vgg,resnetといった標準ニューラルネットワークの畳み込み層に対して,フィルタの共分散とパッチベースのアゴップとの相関度が高いことなど,ansatzの広範な実証的証拠を示す。 理論的な証拠も提供します 次に,畳み込み型カーネルマシンにおける深い機能学習を可能にするパッチベースの agop を用いて,結果の汎用性を示す。 得られたアルゴリズムを(Deep) ConvRFMと呼び、エッジ検出器の顕著な出現を含む深層畳み込みネットワークに類似した特徴を回復することを示す。 さらに,deep convrfmは,画像内の局所信号に適応できないなど,従来認識されていた畳み込みカーネルの制限を克服し,その結果,固定畳み込みカーネルに対する大幅な性能向上をもたらすことを見出した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Investigating Generalization in Neural Networks under Optimally Evolved Training Perturbations [46.8676764079206]
  入力摂動下でのニューラルネットワークの一般化特性について検討する。 いくつかのピクセル修正による最小限のトレーニングデータ破損は、過度な過度なオーバーフィッティングを引き起こす可能性があることを示す。 最適な画素摂動を探索する進化的アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-14T14:38:07Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。