論文の概要: Linear CNNs Discover the Statistical Structure of the Dataset Using Only the Most Dominant Frequencies

• arxiv url: http://arxiv.org/abs/2303.02034v2
• Date: Tue, 25 Jul 2023 00:19:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 21:12:10.040249
• Title: Linear CNNs Discover the Statistical Structure of the Dataset Using Only the Most Dominant Frequencies
• Title（参考訳）: 線形CNNは最も支配的な周波数のみを用いてデータセットの統計的構造を明らかにする
• Authors: Hannah Pinson, Joeri Lenaerts, Vincent Ginis
• Abstract要約: トレーニング中のネットワークの進化は,データセット構造と畳み込みネットワーク構造との相互作用によって決定されることを示す。 われわれは,CNNの内部動作に新たな光を当て,そのショートカット学習と,形状よりもテクスチャに頼っている傾向を説明するのに役立てることができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We here present a stepping stone towards a deeper understanding of convolutional neural networks (CNNs) in the form of a theory of learning in linear CNNs. Through analyzing the gradient descent equations, we discover that the evolution of the network during training is determined by the interplay between the dataset structure and the convolutional network structure. We show that linear CNNs discover the statistical structure of the dataset with non-linear, ordered, stage-like transitions, and that the speed of discovery changes depending on the relationship between the dataset and the convolutional network structure. Moreover, we find that this interplay lies at the heart of what we call the ``dominant frequency bias'', where linear CNNs arrive at these discoveries using only the dominant frequencies of the different structural parts present in the dataset. We furthermore provide experiments that show how our theory relates to deep, non-linear CNNs used in practice. Our findings shed new light on the inner working of CNNs, and can help explain their shortcut learning and their tendency to rely on texture instead of shape.
• Abstract（参考訳）: ここでは、線形CNNにおける学習理論の形で、畳み込みニューラルネットワーク(CNN)の深い理解に向けて、ステップストーンを提示する。 勾配降下方程式の解析により,学習中のネットワークの進化は,データセット構造と畳み込みネットワーク構造との相互作用によって決定されることがわかった。 線形cnnは,非線形,順序,ステージ様遷移を伴うデータセットの統計的構造を発見し,データセットと畳み込みネットワーク構造の関係によって発見速度が変化することを示す。 さらに、この相互作用は「主周波数バイアス」と呼ばれるものの中心にあり、リニアcnnはデータセットに存在する異なる構造部分の優占周波数のみを使用してこれらの発見に到達している。 さらに、我々の理論が実際に使用される深い非線形CNNとどのように関係しているかを示す実験も提供する。 われわれは,CNNの内部動作に新たな光を当て,そのショートカット学習と,形状よりもテクスチャに頼っている傾向を説明するのに役立てることができた。

関連論文リスト

• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Forecasting Fold Bifurcations through Physics-Informed Convolutional Neural Networks [0.0]
  本研究では,2次分岐近傍の力学系の時系列を同定する物理インフォームド畳み込みニューラルネットワーク(CNN)を提案する。 CNNは比較的少量のデータと単一の非常に単純なシステムで訓練されている。 同様のタスクは、物理学に基づく情報を利用して得られる、かなりの外挿能力を必要とする。
  論文  参考訳（メタデータ） (2023-12-21T10:07:52Z)
• Effects of Data Geometry in Early Deep Learning [16.967930721746672]
  ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。 ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
  論文  参考訳（メタデータ） (2022-12-29T17:32:05Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Lookup subnet based Spatial Graph Convolutional neural Network [3.119764474774276]
  本研究では,CNNを非ユークリッド領域に自然に一般化するクロス相関グラフ畳み込み法を提案する。 提案手法は,3つの確立されたグラフベンチマークにおいて,最先端の実績を達成あるいは一致させた。
  論文  参考訳（メタデータ） (2021-02-04T13:05:30Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• An Information-theoretic Visual Analysis Framework for Convolutional Neural Networks [11.15523311079383]
  CNNモデルから抽出可能なデータを整理するデータモデルを提案する。 次に、異なる状況下でエントロピーを計算する2つの方法を提案する。 我々は,モデル内の情報変化量をインタラクティブに探索する視覚解析システムCNNSlicerを開発した。
  論文  参考訳（メタデータ） (2020-05-02T21:36:50Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。