論文の概要: A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs

• arxiv url: http://arxiv.org/abs/2106.04110v1
• Date: Tue, 8 Jun 2021 05:20:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:07:22.023413
• Title: A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs
• Title（参考訳）: ガウス過程の自己整合理論は有限cnnにおける特徴学習効果を捉える
• Authors: Gadi Naveh and Zohar Ringel
• Abstract要約: 無限幅/チャネル制限のディープニューラルネットワーク(DNN)が最近注目を集めている。 理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。 ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) in the infinite width/channel limit have received much attention recently, as they provide a clear analytical window to deep learning via mappings to Gaussian Processes (GPs). Despite its theoretical appeal, this viewpoint lacks a crucial ingredient of deep learning in finite DNNs, laying at the heart of their success -- feature learning. Here we consider DNNs trained with noisy gradient descent on a large training set and derive a self consistent Gaussian Process theory accounting for strong finite-DNN and feature learning effects. Applying this to a toy model of a two-layer linear convolutional neural network (CNN) shows good agreement with experiments. We further identify, both analytical and numerically, a sharp transition between a feature learning regime and a lazy learning regime in this model. Strong finite-DNN effects are also derived for a non-linear two-layer fully connected network. Our self consistent theory provides a rich and versatile analytical framework for studying feature learning and other non-lazy effects in finite DNNs.
• Abstract（参考訳）: 無限幅/チャネル制限のディープニューラルネットワーク(DNN)は、ガウス過程(GP)へのマッピングを通じて、ディープラーニングに明確な解析窓を提供するため、近年多くの注目を集めている。 理論上の魅力にもかかわらず、この視点は有限DNNにおいて深層学習の重要な要素を欠いている。 ここでは,大きなトレーニングセット上で雑音勾配勾配で訓練されたDNNを考察し,強い有限DNNと特徴学習効果を考慮した自己一貫したガウス過程理論を導出する。 これを2層線形畳み込みニューラルネットワーク(CNN)のおもちゃモデルに適用することは、実験とよく一致している。 さらに,本モデルでは,特徴学習体制と遅延学習体制との急激な遷移を解析的および数値的に同定する。 強い有限DNN効果は、非線形2層完全連結ネットワークにもたらされる。 我々の自己整合理論は、有限dnnにおける特徴学習やその他の非ラザイ効果を研究するための、豊かで多用途な分析フレームワークを提供する。

関連論文リスト

• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Quantum-Inspired Tensor Neural Networks for Partial Differential Equations [5.963563752404561]
  ディープラーニング手法は時間と記憶の訓練によって制約される。これらの欠点に対処するため、ニューラルネットワーク(TNN)を実装している。 我々は、TNNが古典的ニューラルネットワーク(DNN)と同等の精度を保ちながら、重要なパラメータの節約を提供することを示した。
  論文  参考訳（メタデータ） (2022-08-03T17:41:11Z)
• Piecewise Linear Neural Networks and Deep Learning [27.02556725989978]
  PieceWise Linear Neural Networks (PWLNN) は様々な分野で成功している。 1977年、標準表現は、漸進的な設計から学んだ浅いPWLNNの研究の先駆者となった。 2010年、Rectified Linear Unit (ReLU) は深層学習におけるPWLNNの普及を提唱した。
  論文  参考訳（メタデータ） (2022-06-18T08:41:42Z)
• Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
  スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。 本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
  論文  参考訳（メタデータ） (2022-05-31T17:02:26Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Extended critical regimes of deep neural networks [0.0]
  重み付き重みは、微調整パラメータを使わずに、拡張臨界状態の出現を可能にすることを示す。 この拡張クリティカルレジームでは、DNNは層間のリッチで複雑な伝播ダイナミクスを示す。 効率的なニューラルアーキテクチャの設計のための理論的ガイドを提供する。
  論文  参考訳（メタデータ） (2022-03-24T10:15:50Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。