論文の概要: Linear CNNs Discover the Statistical Structure of the Dataset Using Only the Most Dominant Frequencies

• arxiv url: http://arxiv.org/abs/2303.02034v1
• Date: Fri, 3 Mar 2023 15:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 14:21:18.634249
• Title: Linear CNNs Discover the Statistical Structure of the Dataset Using Only the Most Dominant Frequencies
• Title（参考訳）: 線形CNNは最も支配的な周波数のみを用いてデータセットの統計的構造を明らかにする
• Authors: Hannah Pinson, Joeri Lenaerts, Vincent Ginis
• Abstract要約: 畳み込みを用いることで,データセット構造とネットワーク構造とのミスマッチが生じることを示す。 本研究は,CNNの近距離学習や,形状よりもテクスチャに頼っている傾向など,一般的なCNNの特徴を説明するのに有用である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Our theoretical understanding of the inner workings of general convolutional neural networks (CNN) is limited. We here present a new stepping stone towards such understanding in the form of a theory of learning in linear CNNs. By analyzing the gradient descent equations, we discover that using convolutions leads to a mismatch between the dataset structure and the network structure. We show that linear CNNs discover the statistical structure of the dataset with non-linear, stage-like transitions, and that the speed of discovery changes depending on this structural mismatch. Moreover, we find that the mismatch lies at the heart of what we call the 'dominant frequency bias', where linear CNNs arrive at these discoveries using only the dominant frequencies of the different structural parts present in the dataset. Our findings can help explain several characteristics of general CNNs, such as their shortcut learning and their tendency to rely on texture instead of shape.
• Abstract（参考訳）: 一般畳み込みニューラルネットワーク(CNN)の内部動作に関する理論的理解は限られている。 本稿では,線形cnnにおける学習理論の形での理解に向けて,新たなステップストーンを提案する。 勾配降下方程式を解析することにより,畳み込みを用いることで,データセット構造とネットワーク構造とのミスマッチが生じることがわかった。 線形CNNは、非線形、段階的な遷移を伴うデータセットの統計構造を発見し、この構造ミスマッチによって発見の速度が変化することを示す。 さらに、このミスマッチは、データセットに存在する異なる構造部分の支配的周波数のみを使用して、線形cnnがこれらの発見に到達する「支配的周波数バイアス」の核心にあることを見出した。 本研究は,CNNの近距離学習や形状よりもテクスチャに依存する傾向など,一般的なCNNの特徴を説明するのに役立つ。

関連論文リスト

• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Forecasting Fold Bifurcations through Physics-Informed Convolutional Neural Networks [0.0]
  本研究では,2次分岐近傍の力学系の時系列を同定する物理インフォームド畳み込みニューラルネットワーク(CNN)を提案する。 CNNは比較的少量のデータと単一の非常に単純なシステムで訓練されている。 同様のタスクは、物理学に基づく情報を利用して得られる、かなりの外挿能力を必要とする。
  論文  参考訳（メタデータ） (2023-12-21T10:07:52Z)
• Effects of Data Geometry in Early Deep Learning [16.967930721746672]
  ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。 ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
  論文  参考訳（メタデータ） (2022-12-29T17:32:05Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Lookup subnet based Spatial Graph Convolutional neural Network [3.119764474774276]
  本研究では,CNNを非ユークリッド領域に自然に一般化するクロス相関グラフ畳み込み法を提案する。 提案手法は,3つの確立されたグラフベンチマークにおいて,最先端の実績を達成あるいは一致させた。
  論文  参考訳（メタデータ） (2021-02-04T13:05:30Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• An Information-theoretic Visual Analysis Framework for Convolutional Neural Networks [11.15523311079383]
  CNNモデルから抽出可能なデータを整理するデータモデルを提案する。 次に、異なる状況下でエントロピーを計算する2つの方法を提案する。 我々は,モデル内の情報変化量をインタラクティブに探索する視覚解析システムCNNSlicerを開発した。
  論文  参考訳（メタデータ） (2020-05-02T21:36:50Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。