論文の概要: Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework

• arxiv url: http://arxiv.org/abs/2610.21964v1
• Date: Thu, 15 Oct 2026 14:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.125442
• Title: Why Shallow Neural Networks Learn Sinusoidal Components First: An Orthogonal Polynomial Dynamics Framework
• Title（参考訳）: ニューラルネットワークが正弦波成分を学習する理由:直交多項式力学フレームワーク
• Abstract要約: ニューラルネットワークはしばしば高周波コンポーネントよりも前に低周波成分を学習する。 任意のネットワークに適用可能な理論的枠組みを開発する。 我々は、アクティベーション関数の学習バイアスと、潜在的にネットワークアーキテクチャのモデル化について分析する。
• 参考スコア（独自算出の注目度）: 1.2944868613449219
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural networks often learn low-frequency components before high-frequency ones --- a phenomenon called spectral bias or termed F-principle. Many numerical studies have demonstrated this phenomenon, and theoretical studies have sought to explain it. However, several goals remain insufficiently addressed: (1) explaining spectral bias asymptotically, including its origin and why the preferred components are generally sinusoidal; (2) extending the explanation to general activation functions, such as sigmoid and ReLU; (3) making weak assumptions about the data distribution; (4) avoiding aliasing effects, such as those arising in finite-domain Fourier analysis; and (5) developing a theoretical framework applicable to arbitrary networks. We address these goals theoretically by analyzing the eigenvalue decay and eigenvector shapes of the dynamics matrix H, which arises when we expand the network output as a general Fourier series (GFS) in an orthogonal polynomial basis and express the gradient-descent dynamics of the GFS coefficients as ordinary differential equations. The graded structure of H enables an intuitive explanation of spectral bias, while orthogonal polynomial theory helps us analyze how learning bias depends on the activation function and, potentially, the network architecture.
• Abstract（参考訳）: ニューラルネットワークは低周波成分を高周波成分の前に学習することが多く、スペクトルバイアスと呼ばれる現象やF-principleと呼ばれる。 多くの数値的な研究がこの現象を証明し、理論的な研究はそれを説明しようとした。 しかし,(1)スペクトルバイアスを漸近的に説明すること,(2)シグモイドやReLUなどの一般活性化関数に説明を拡張すること,(4)有限領域フーリエ解析などのエイリアス効果を回避すること,(5)任意のネットワークに適用可能な理論的枠組みを開発すること,など,いくつかの目標が未解決のまま残されている。 これらの目的を理論的には、力学行列 H の固有値減衰と固有ベクトル形状を解析し、直交多項式基底で一般フーリエ級数 (GFS) としてネットワーク出力を拡大し、通常の微分方程式として GFS 係数の勾配-蛍光ダイナミクスを表現することによって解決する。 H の次数構造は、スペクトルバイアスの直感的な説明を可能にし、直交多項式理論は、学習バイアスが活性化関数と潜在的にネットワークアーキテクチャにどのように依存するかを分析するのに役立つ。

関連論文リスト

• Operator-informed initialization for Fourier features physics-informed neural networks [9.159876164536607]
  ニューラルタンジェントカーネルシステムにおけるフーリエ特徴PINNのトレーニングダイナミクスを解析する。 周波数領域の残差を推定するために、明示的な進化方程式を導出する。 そこで本研究では,解いた特定のPDEに対して初期重量分布を調整する戦略を提案する。
  論文  参考訳（メタデータ） (2026-10-02T14:32:40Z)
• Spectral bias in physics-informed and operator learning: Analysis and mitigation guidelines [3.758814046658822]
  スペクトルバイアスは、溶液の低周波成分が高周波モードよりも早く学習されるときである。 スペクトルバイアスは単に表現的ではなく、基本的に動的であることを示す。 ニューラル演算子の場合、スペクトルバイアスはニューラル演算子アーキテクチャに依存する。
  論文  参考訳（メタデータ） (2026-02-22T16:29:18Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• On the study of frequency control and spectral bias in Wavelet-Based Kolmogorov Arnold networks: A path to physics-informed KANs [0.35998666903987897]
  スペクトルバイアス(英: Spectral bias)とは、ニューラルネットワークが初期のトレーニング段階で関数の低周波成分の学習を優先する傾向である。 我々はウェーブレット・コルモゴロフ・アーノルド・ネットワーク(Wav-KAN)のニューラルタンジェント・カーネル(NTK)の固有値を分析し、高周波成分に収束する能力を高める。
  論文  参考訳（メタデータ） (2025-02-01T02:35:12Z)
• Fourier Neural Differential Equations for learning Quantum Field Theories [57.11316818360655]
  量子場理論は相互作用ハミルトニアンによって定義され、散乱行列によって実験データにリンクされる。 本稿では,NDEモデルを用いて理論,スカラー・ユーカワ理論,スカラー量子電磁力学を学習する。 理論の相互作用ハミルトニアンは、ネットワークパラメータから抽出することができる。
  論文  参考訳（メタデータ） (2023-11-28T22:11:15Z)
• Supercharging Graph Transformers with Advective Diffusion [28.40109111316014]
  本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルであるAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
  論文  参考訳（メタデータ） (2023-10-10T08:40:47Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis [6.0158981171030685]
  本稿では,ディープニューラルネットワークの層次スペクトルバイアスを解析し,対象関数に対する誤差の低減における異なる層の寄与と関係付ける。 我々は、ディープニューラルネットワークのための高次元データセットにおいて、我々の理論を検証する実験結果を提供する。
  論文  参考訳（メタデータ） (2021-11-06T22:49:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。