論文の概要: Local Kernel Renormalization as a mechanism for feature learning in
overparametrized Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2307.11807v1
- Date: Fri, 21 Jul 2023 17:22:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 19:40:08.287342
- Title: Local Kernel Renormalization as a mechanism for feature learning in
overparametrized Convolutional Neural Networks
- Title（参考訳）: オーバーパラメータ畳み込みニューラルネットワークにおける特徴学習のメカニズムとしての局所カーネル再正規化
- Authors: R. Aiudi, R. Pacelli, A. Vezzani, R. Burioni, P. Rotondo
- Abstract要約: 実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。
畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。
有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature learning, or the ability of deep neural networks to automatically
learn relevant features from raw data, underlies their exceptional capability
to solve complex tasks. However, feature learning seems to be realized in
different ways in fully-connected (FC) or convolutional architectures (CNNs).
Empirical evidence shows that FC neural networks in the infinite-width limit
eventually outperform their finite-width counterparts. Since the kernel that
describes infinite-width networks does not evolve during training, whatever
form of feature learning occurs in deep FC architectures is not very helpful in
improving generalization. On the other hand, state-of-the-art architectures
with convolutional layers achieve optimal performances in the finite-width
regime, suggesting that an effective form of feature learning emerges in this
case. In this work, we present a simple theoretical framework that provides a
rationale for these differences, in one hidden layer networks. First, we show
that the generalization performance of a finite-width FC network can be
obtained by an infinite-width network, with a suitable choice of the Gaussian
priors. Second, we derive a finite-width effective action for an architecture
with one convolutional hidden layer and compare it with the result available
for FC networks. Remarkably, we identify a completely different form of kernel
renormalization: whereas the kernel of the FC architecture is just globally
renormalized by a single scalar parameter, the CNN kernel undergoes a local
renormalization, meaning that the network can select the local components that
will contribute to the final prediction in a data-dependent way. This finding
highlights a simple mechanism for feature learning that can take place in
overparametrized shallow CNNs, but not in shallow FC architectures or in
locally connected neural networks without weight sharing.
- Abstract（参考訳）: 機能学習、あるいはディープニューラルネットワークが生データから関連する機能を自動学習する能力は、複雑なタスクを解決するための例外的な能力の基盤となる。
しかし、機能学習は完全連結(FC)や畳み込みアーキテクチャ(CNN)において異なる方法で実現されているようである。
実証的な証拠は、無限幅限界のfcニューラルネットワークが最終的に有限幅のニューラルネットワークを上回ることを示している。
無限幅ネットワークを記述するカーネルはトレーニング中に進化しないので、深いfcアーキテクチャで起こるどんな特徴学習も一般化を改善するのにはあまり役に立たない。
一方,畳み込み層を持つ最先端アーキテクチャは有限幅環境において最適性能を達成し,この場合,効果的な特徴学習が出現することが示唆された。
本稿では,これらの差異の理論的根拠を1つの隠れ層ネットワークで提供する,単純な理論的枠組みを提案する。
まず,有限幅fcネットワークの一般化性能は,ガウス前駆体の適切な選択により,無限幅ネットワークによって得られることを示す。
第2に,一つの畳み込み隠れ層を持つアーキテクチャに対して,有限幅有効作用を導出し,fcネットワークで得られる結果と比較する。
FCアーキテクチャのカーネルは1つのスカラーパラメータによってグローバルに再正規化されているのに対し、CNNカーネルは局所的な再正規化を受けており、ネットワークはデータ依存の方法で最終的な予測に寄与するローカルコンポーネントを選択できる。
この発見は、過パラメータな浅いcnnでは起こり得るが、浅いfcアーキテクチャや、重みを共有することなくローカルに接続されたニューラルネットワークでは起こり得ない、機能学習のための単純なメカニズムを強調している。
関連論文リスト
- Globally Gated Deep Linear Networks [3.04585143845864]
我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。
有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。
我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
論文 参考訳（メタデータ） (2022-10-31T16:21:56Z) - Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。
分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
論文 参考訳（メタデータ） (2022-02-10T21:45:49Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network
Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。
この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。
画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文 参考訳（メタデータ） (2020-06-29T17:59:26Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。
グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文 参考訳（メタデータ） (2019-12-30T18:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。