論文の概要: Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study
- arxiv url: http://arxiv.org/abs/2209.07736v1
- Date: Fri, 16 Sep 2022 06:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 11:59:40.235405
- Title: Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study
- Title(参考訳): ハダマール積を持つニューラルネットの補間とスペクトルバイアス:多項式ネットによる研究
- Authors: Yongtao Wu, Zhenyu Zhu, Fanghui Liu, Grigorios G Chrysos, Volkan
Cevher
- Abstract要約: NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
- 参考スコア(独自算出の注目度): 55.12108376616355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural tangent kernel (NTK) is a powerful tool to analyze training dynamics
of neural networks and their generalization bounds. The study on NTK has been
devoted to typical neural network architectures, but is incomplete for neural
networks with Hadamard products (NNs-Hp), e.g., StyleGAN and polynomial neural
networks. In this work, we derive the finite-width NTK formulation for a
special class of NNs-Hp, i.e., polynomial neural networks. We prove their
equivalence to the kernel regression predictor with the associated NTK, which
expands the application scope of NTK. Based on our results, we elucidate the
separation of PNNs over standard neural networks with respect to extrapolation
and spectral bias. Our two key insights are that when compared to standard
neural networks, PNNs are able to fit more complicated functions in the
extrapolation regime and admit a slower eigenvalue decay of the respective NTK.
Besides, our theoretical results can be extended to other types of NNs-Hp,
which expand the scope of our work. Our empirical results validate the
separations in broader classes of NNs-Hp, which provide a good justification
for a deeper understanding of neural architectures.
- Abstract(参考訳): neural tangent kernel(ntk)は、ニューラルネットワークのトレーニングダイナミクスとその一般化境界を分析する強力なツールである。
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、Adamard製品(NNs-Hp)やStyleGAN、多項式ニューラルネットワークといったニューラルネットワークには不完全である。
本研究では, NNs-Hp の特殊クラス,すなわち多項式ニューラルネットワークに対する有限幅 NTK の定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
そこで本研究では,標準ニューラルネットワークを用いたpnnの分離を,外挿とスペクトルバイアスに関して明らかにする。
我々の2つの重要な洞察は、標準のニューラルネットワークと比較すると、PNNは外挿系においてより複雑な機能に適合し、それぞれのNTKの固有値の減衰が遅くなることである。
さらに、理論結果を他のNNs-Hpに拡張することで、作業の範囲を広げることができます。
我々の経験的結果は、NNs-Hpのより広範なクラスにおける分離を検証し、ニューラルアーキテクチャのより深い理解のための良い正当化を提供する。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。
非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。
我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
論文 参考訳(メタデータ) (2022-10-25T17:22:31Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - Deep Kronecker neural networks: A general framework for neural networks
with adaptive activation functions [4.932130498861987]
我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。
適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
論文 参考訳(メタデータ) (2021-05-20T04:54:57Z) - Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel
Theory? [2.0711789781518752]
ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。
NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。
特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
論文 参考訳(メタデータ) (2020-12-08T15:19:45Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - The Recurrent Neural Tangent Kernel [11.591070761599328]
本稿では、過度にパラメータ化されたRNNの動作に関する新たな洞察を提供するRNTK(Recurrent Neural Tangent Kernel)を紹介し、研究する。
56個の実世界のデータ実験により、RNTKは他のカーネルよりも大幅に性能が向上することを示した。
論文 参考訳(メタデータ) (2020-06-18T02:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。