論文の概要: Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate Networks

• arxiv url: http://arxiv.org/abs/2402.04783v1
• Date: Wed, 7 Feb 2024 12:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 15:39:06.930074
• Title: Analyzing the Neural Tangent Kernel of Periodically Activated Coordinate Networks
• Title（参考訳）: 周期的活性化コーディネートネットワークのニューラルタンジェントカーネルの解析
• Authors: Hemanth Saratchandran, Shin-Fang Chng, Simon Lucey
• Abstract要約: ニューラルタンジェントカーネル(NTK)の解析を通して周期的に活性化されるネットワークの理論的理解を提供する。 NTKの観点から,周期的に活性化されるネットワークは,ReLU活性化ネットワークよりもテキスト的に良好であることが示唆された。
• 参考スコア（独自算出の注目度）: 30.92757082348805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, neural networks utilizing periodic activation functions have been proven to demonstrate superior performance in vision tasks compared to traditional ReLU-activated networks. However, there is still a limited understanding of the underlying reasons for this improved performance. In this paper, we aim to address this gap by providing a theoretical understanding of periodically activated networks through an analysis of their Neural Tangent Kernel (NTK). We derive bounds on the minimum eigenvalue of their NTK in the finite width setting, using a fairly general network architecture which requires only one wide layer that grows at least linearly with the number of data samples. Our findings indicate that periodically activated networks are \textit{notably more well-behaved}, from the NTK perspective, than ReLU activated networks. Additionally, we give an application to the memorization capacity of such networks and verify our theoretical predictions empirically. Our study offers a deeper understanding of the properties of periodically activated neural networks and their potential in the field of deep learning.
• Abstract（参考訳）: 近年、周期的アクティベーション関数を利用したニューラルネットワークは、従来のReLUアクティベートネットワークと比較して、視覚タスクにおいて優れた性能を示すことが証明されている。 しかし、このパフォーマンス向上の根本的な理由については、まだ理解が限られている。 本稿では,そのニューラルネットワークカーネル(NTK)の分析を通じて,周期的に活性化されるネットワークの理論的理解を提供することにより,このギャップに対処することを目的とする。 NTKの最小固有値を有限幅設定で導出し、データサンプル数に応じて少なくとも線形に成長する1つの広い層のみを必要とする、比較的一般的なネットワークアーキテクチャを用いて導出する。 その結果,定期的に活性化されるネットワークは,NTKの観点からはReLU活性化ネットワークよりもtextit{notably more well-behaved} であることが示唆された。 さらに,このようなネットワークの記憶能力に適用し,理論的な予測を実証的に検証する。 我々の研究は、周期的に活性化されるニューラルネットワークの性質と、深層学習の分野での可能性についてより深く理解している。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Limitations of the NTK for Understanding Generalization in Deep Learning [13.44676002603497]
  我々はNTKをスケーリング法則のレンズを通して研究し、ニューラルネットワークの一般化の重要な側面を説明するには不十分であることを示した。 実験的なNTKを一定数のサンプルで事前トレーニングしても、カーネルのスケーリングはニューラルネットワークのスケーリングに追いつかなくなる。
  論文  参考訳（メタデータ） (2022-06-20T21:23:28Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks [43.860358308049044]
  研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。 この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T17:42:49Z)
• Depth Enables Long-Term Memory for Recurrent Neural Networks [0.0]
  本稿では,スタートエンド分離ランク(Start-End separation rank)と呼ばれる時間的情報フローを支援するネットワークの能力を評価する。 より深い再帰的ネットワークは、浅いネットワークで支えられるものよりも高いスタートエンド分離ランクをサポートすることを証明している。
  論文  参考訳（メタデータ） (2020-03-23T10:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。