論文の概要: The Spectral Bias of Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2202.13473v1
• Date: Sun, 27 Feb 2022 23:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 09:00:51.283696
• Title: The Spectral Bias of Polynomial Neural Networks
• Title（参考訳）: 多項式ニューラルネットワークのスペクトルバイアス
• Authors: Moulik Choraria, Leello Tadesse Dadi, Grigorios Chrysos, Julien Mairal, Volkan Cevher
• Abstract要約: PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
• 参考スコア（独自算出の注目度）: 63.27903166253743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Polynomial neural networks (PNNs) have been recently shown to be particularly effective at image generation and face recognition, where high-frequency information is critical. Previous studies have revealed that neural networks demonstrate a $\textit{spectral bias}$ towards low-frequency functions, which yields faster learning of low-frequency components during training. Inspired by such studies, we conduct a spectral analysis of the Neural Tangent Kernel (NTK) of PNNs. We find that the $\Pi$-Net family, i.e., a recently proposed parametrization of PNNs, speeds up the learning of the higher frequencies. We verify the theoretical bias through extensive experiments. We expect our analysis to provide novel insights into designing architectures and learning frameworks by incorporating multiplicative interactions via polynomials.
• Abstract（参考訳）: PNN(Polynomial Neural Network)は近年,高頻度情報の重要性が高い画像生成や顔認識において,特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$\textit{spectral bias}$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのニューラルタンジェントカーネル(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$\Pi$-Netファミリが、より高い周波数の学習を高速化することを発見した。 我々は広範な実験を通して理論バイアスを検証する。 我々は、多項式による乗法的相互作用を取り入れることで、アーキテクチャや学習フレームワークの設計に新たな洞察を与えることを期待している。

関連論文リスト

• Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning [3.0468273116892752]
  ディープニューラルネットワーク(DNN)は、関数の低周波成分の学習を優先し、その高周波の特徴を捉えるのに苦労する傾向を示す。 本稿では、複数のSNNを構成することで高周波成分を含む関数を学習し、それぞれが与えられたデータから特定の低周波情報を学ぶことを提案する。 本研究は,MGDLが高周波情報を含む機能に優れていることを明らかにする。
  論文  参考訳（メタデータ） (2024-10-21T15:34:33Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• On the Study of Sample Complexity for Polynomial Neural Networks [13.265045615849099]
  様々な種類のニューラルネットワークアーキテクチャの中で、サンプルニューラルネットワーク(PNN)は近年、スペクトル分析によって分析可能であることが示されている。 本稿では,従来の文献をPNNに拡張し,PNNのサンプル複雑性に関する新たな結果を得る。
  論文  参考訳（メタデータ） (2022-07-18T19:10:53Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。