論文の概要: Is the Frequency Principle always valid?

• arxiv url: http://arxiv.org/abs/2508.17323v1
• Date: Sun, 24 Aug 2025 12:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.466619
• Title: Is the Frequency Principle always valid?
• Title（参考訳）: 周波数原理は常に有効か?
• Authors: Qijia Zhai,
• Abstract要約: 極座標(タウ,フィ)における単位球(S2subsetmathbbR3)上の浅部ReLUニューラルネットワークの学習力学について検討した。 固定重みについては、球面の高調波展開は(O(ell5/2ell)) として崩壊する係数を持つ固有の低周波の嗜好を示す。 トレーニング可能なウェイトでは、調和進化方程式における追加の回転項は、崩壊次数(O(ell7/2ell))因子による指数的崩壊を保存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the learning dynamics of shallow ReLU neural networks on the unit sphere \(S^2\subset\mathbb{R}^3\) in polar coordinates \((\tau,\phi)\), considering both fixed and trainable neuron directions \(\{w_i\}\). For fixed weights, spherical harmonic expansions reveal an intrinsic low-frequency preference with coefficients decaying as \(O(\ell^{5/2}/2^\ell)\), typically leading to the Frequency Principle (FP) of lower-frequency-first learning. However, this principle can be violated under specific initial conditions or error distributions. With trainable weights, an additional rotation term in the harmonic evolution equations preserves exponential decay with decay order \(O(\ell^{7/2}/2^\ell)\) factor, also leading to the FP of lower-frequency-first learning. But like fixed weights case, the principle can be violated under specific initial conditions or error distributions. Our numerical results demonstrate that trainable directions increase learning complexity and can either maintain a low-frequency advantage or enable faster high-frequency emergence. This analysis suggests the FP should be viewed as a tendency rather than a rule on curved domains like \(S^2\), providing insights into how direction updates and harmonic expansions shape frequency-dependent learning.
• Abstract（参考訳）: 極座標 \((\tau,\phi)\) における単位球面 \(S^2\subset\mathbb{R}^3\) 上の浅部ReLUニューラルネットワークの学習力学について検討し、固定およびトレーニング可能なニューロン方向 \(\{w_i\}\) の両方を考慮した。 固定重みについては、球面高調波展開は、一般に低周波ファーストラーニングの周波数原理(FP)につながる係数を持つ固有な低周波優先性を示す。 しかし、この原理は特定の初期条件や誤差分布で破ることができる。 トレーニング可能なウェイトでは、調和進化方程式における追加の回転項は、崩壊次数 \(O(\ell^{7/2}/2^\ell)\) 因子による指数的崩壊を保ち、低周波ファーストラーニングのFPにも繋がる。 しかし、固定重みの場合と同様に、この原理は特定の初期条件や誤差分布の下で破ることができる。 数値的な結果から,訓練可能な方向は学習の複雑さを増し,低周波の優位性を維持するか,より速い高周波の出現を可能にするかが示されている。 この分析は、FPを(S^2\)のような湾曲した領域の規則ではなく傾向と見なすべきであることを示唆し、方向の更新と高調波展開が周波数依存学習を形作る方法についての洞察を与える。

関連論文リスト

• Understanding the dynamics of the frequency bias in neural networks [0.0]
  近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:09:16Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders [0.0]
  ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。 SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。 これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。 正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
  論文  参考訳（メタデータ） (2023-01-07T06:31:28Z)
• A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data [1.7188280334580197]
  勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。 我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
  論文  参考訳（メタデータ） (2022-05-28T02:31:19Z)
• Geometric-Arithmetic Master Equation in Large and Fast Open Quantum Systems [0.0]
  ここでは、ボーア周波数、ゼロ温度、高速運転のシステムに重点を置いて、オープン量子系における非分子動力学を理解する。 開系における崩壊率の算術平均を幾何学平均に置き換えるマスター方程式を用いる。 量子力学の完全肯定性を保ちながら、レッドフィールド方程式として知られる第2次理論を改善することができる。
  論文  参考訳（メタデータ） (2021-12-15T03:47:51Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• On the exact computation of linear frequency principle dynamics and its generalization [6.380166265263755]
  近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。 本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
  論文  参考訳（メタデータ） (2020-10-15T15:17:21Z)
• Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
  従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。 調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
  論文  参考訳（メタデータ） (2020-07-02T15:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。