論文の概要: On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures

• arxiv url: http://arxiv.org/abs/2006.13645v1
• Date: Wed, 24 Jun 2020 11:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:05:45.350363
• Title: On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
• Title（参考訳）: 標準有限幅畳み込みニューラルネットワークアーキテクチャの経験的神経接核について
• Authors: Maxim Samarin, Volker Roth, David Belius
• Abstract要約: NTK理論が実際に一般的な幅の標準的なニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。 我々はこの疑問を、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャに対して実証的に研究する。 これらのネットワークのより広いバージョンでは、完全に接続されたレイヤのチャネル数や幅が増加すると、偏差は減少する。
• 参考スコア（独自算出の注目度）: 3.4698840925433765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Neural Tangent Kernel (NTK) is an important milestone in the ongoing effort to build a theory for deep learning. Its prediction that sufficiently wide neural networks behave as kernel methods, or equivalently as random feature models, has been confirmed empirically for certain wide architectures. It remains an open question how well NTK theory models standard neural network architectures of widths common in practice, trained on complex datasets such as ImageNet. We study this question empirically for two well-known convolutional neural network architectures, namely AlexNet and LeNet, and find that their behavior deviates significantly from their finite-width NTK counterparts. For wider versions of these networks, where the number of channels and widths of fully-connected layers are increased, the deviation decreases.
• Abstract（参考訳）: Neural Tangent Kernel(NTK)は、ディープラーニングの理論を構築するための継続的な取り組みにおいて重要なマイルストーンである。 十分に広いニューラルネットワークがカーネルメソッドとして、あるいはランダム特徴モデルとして振る舞うという予測は、特定のワイドアーキテクチャにおいて実証的に確認されている。 NTK理論が、ImageNetのような複雑なデータセットでトレーニングされた、実際に一般的な幅の標準ニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。 我々は、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャを実証的に研究し、それらの振る舞いがNTKの有限幅アーキテクチャとは大きく異なることを発見した。 これらのネットワークのより広いバージョンでは、完全接続層のチャネル数と幅が増加すると、偏差が減少する。

関連論文リスト

• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory? [2.0711789781518752]
  ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。 NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。 特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
  論文  参考訳（メタデータ） (2020-12-08T15:19:45Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
  我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。 グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
  論文  参考訳（メタデータ） (2019-12-30T18:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。