論文の概要: Understanding the Initial Condensation of Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2305.09947v1
- Date: Wed, 17 May 2023 05:00:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 17:35:56.221889
- Title: Understanding the Initial Condensation of Convolutional Neural Networks
- Title(参考訳): 畳み込みニューラルネットワークの初期凝縮を理解する
- Authors: Zhangchen Zhou, Hanxu Zhou, Yuqing Li, Zhi-Qin John Xu
- Abstract要約: 2層畳み込みニューラルネットワークのカーネルは、トレーニング中に1つまたは数つの方向に収束する。
この研究は、特殊な構造を持つニューラルネットワークが示す非線形トレーニングの振る舞いをより深く理解するための一歩である。
- 参考スコア(独自算出の注目度): 6.451914896767135
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Previous research has shown that fully-connected networks with small
initialization and gradient-based training methods exhibit a phenomenon known
as condensation during training. This phenomenon refers to the input weights of
hidden neurons condensing into isolated orientations during training, revealing
an implicit bias towards simple solutions in the parameter space. However, the
impact of neural network structure on condensation has not been investigated
yet. In this study, we focus on the investigation of convolutional neural
networks (CNNs). Our experiments suggest that when subjected to small
initialization and gradient-based training methods, kernel weights within the
same CNN layer also cluster together during training, demonstrating a
significant degree of condensation. Theoretically, we demonstrate that in a
finite training period, kernels of a two-layer CNN with small initialization
will converge to one or a few directions. This work represents a step towards a
better understanding of the non-linear training behavior exhibited by neural
networks with specialized structures.
- Abstract(参考訳): 従来の研究では、小さな初期化と勾配に基づくトレーニング手法を備えた完全接続ネットワークが、トレーニング中に凝縮と呼ばれる現象を示すことが示されている。
この現象は、訓練中に孤立した向きに凝縮する隠れニューロンの入力重みを指し、パラメータ空間における単純な解に対する暗黙の偏りを示す。
しかし, ニューラルネットワーク構造が凝縮に及ぼす影響についてはまだ研究されていない。
本研究では,畳み込みニューラルネットワーク(CNN)の研究に焦点を当てた。
実験では,初期化と勾配に基づく学習方法が小さければ,同一cnn層内の核重みも訓練中に集束し,かなりの凝縮度を示すことが示唆された。
理論的には、有限の訓練期間において、小さな初期化を持つ2層CNNのカーネルが1または数方向に収束することを示した。
この研究は、特殊な構造を持つニューラルネットワークが示す非線形トレーニング行動の理解を深めるための一歩である。
関連論文リスト
- Early Directional Convergence in Deep Homogeneous Neural Networks for
Small Initializations [2.310288676109785]
本稿では、深部均一性ニューラルネットワークのトレーニング時に発生する勾配流れのダイナミクスについて検討する。
ニューラルネットワークの重みは標準では小さく、カルーシュ=クーン=タッカー点に沿ってほぼ収束している。
論文 参考訳(メタデータ) (2024-03-12T23:17:32Z) - On the dynamics of three-layer neural networks: initial condensation [2.022855152231054]
凝縮は、勾配法が自然にニューラルネットワークの複雑さを減少させるときに起こる。
有効動力学の爆破特性を確立し, 凝縮の発生に十分な条件を示す。
また, 深部行列分解における凝縮と低ランクバイアスの関係についても検討した。
論文 参考訳(メタデータ) (2024-02-25T02:36:14Z) - Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias
for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。
また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文 参考訳(メタデータ) (2023-06-10T16:36:22Z) - Phase Diagram of Initial Condensation for Two-layer Neural Networks [4.404198015660192]
2層ニューラルネットワークの初期凝縮の位相図を示す。
私たちのフェーズダイアグラムは、ニューラルネットワークの動的構造を包括的に理解するのに役立ちます。
論文 参考訳(メタデータ) (2023-03-12T03:55:38Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳(メタデータ) (2022-11-21T15:27:22Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Towards Understanding the Condensation of Two-layer Neural Networks at
Initial Training [1.1958610985612828]
原点における活性化関数の特異性は、初期訓練段階における凝縮を理解する上で重要な要素であることを示す。
実験により, 凝縮配向の最大数は特異性次数の2倍であることが示唆された。
論文 参考訳(メタデータ) (2021-05-25T05:47:55Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳(メタデータ) (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。