論文の概要: Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study

• arxiv url: http://arxiv.org/abs/2209.07736v1
• Date: Fri, 16 Sep 2022 06:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 11:59:40.235405
• Title: Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study
• Title（参考訳）: ハダマール積を持つニューラルネットの補間とスペクトルバイアス:多項式ネットによる研究
• Authors: Yongtao Wu, Zhenyu Zhu, Fanghui Liu, Grigorios G Chrysos, Volkan Cevher
• Abstract要約: NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
• 参考スコア（独自算出の注目度）: 55.12108376616355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural tangent kernel (NTK) is a powerful tool to analyze training dynamics of neural networks and their generalization bounds. The study on NTK has been devoted to typical neural network architectures, but is incomplete for neural networks with Hadamard products (NNs-Hp), e.g., StyleGAN and polynomial neural networks. In this work, we derive the finite-width NTK formulation for a special class of NNs-Hp, i.e., polynomial neural networks. We prove their equivalence to the kernel regression predictor with the associated NTK, which expands the application scope of NTK. Based on our results, we elucidate the separation of PNNs over standard neural networks with respect to extrapolation and spectral bias. Our two key insights are that when compared to standard neural networks, PNNs are able to fit more complicated functions in the extrapolation regime and admit a slower eigenvalue decay of the respective NTK. Besides, our theoretical results can be extended to other types of NNs-Hp, which expand the scope of our work. Our empirical results validate the separations in broader classes of NNs-Hp, which provide a good justification for a deeper understanding of neural architectures.
• Abstract（参考訳）: neural tangent kernel(ntk)は、ニューラルネットワークのトレーニングダイナミクスとその一般化境界を分析する強力なツールである。 NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、Adamard製品(NNs-Hp)やStyleGAN、多項式ニューラルネットワークといったニューラルネットワークには不完全である。 本研究では, NNs-Hp の特殊クラス,すなわち多項式ニューラルネットワークに対する有限幅 NTK の定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。 そこで本研究では,標準ニューラルネットワークを用いたpnnの分離を,外挿とスペクトルバイアスに関して明らかにする。 我々の2つの重要な洞察は、標準のニューラルネットワークと比較すると、PNNは外挿系においてより複雑な機能に適合し、それぞれのNTKの固有値の減衰が遅くなることである。 さらに、理論結果を他のNNs-Hpに拡張することで、作業の範囲を広げることができます。 我々の経験的結果は、NNs-Hpのより広範なクラスにおける分離を検証し、ニューラルアーキテクチャのより深い理解のための良い正当化を提供する。

関連論文リスト

• Equivariant Neural Tangent Kernels [2.373992571236766]
  我々は、グループ畳み込みニューラルネットワークのニューラルネットワーク(NTK)に対する明示的な表現を与える。 数値実験では, 医用画像の分類タスクにおいて, 非同変NTKに対して, 同変NTKよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-10T17:43:13Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory? [2.0711789781518752]
  ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。 NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。 特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
  論文  参考訳（メタデータ） (2020-12-08T15:19:45Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• The Recurrent Neural Tangent Kernel [11.591070761599328]
  本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。 56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-06-18T02:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。