論文の概要: On the study of frequency control and spectral bias in Wavelet-Based Kolmogorov Arnold networks: A path to physics-informed KANs
- arxiv url: http://arxiv.org/abs/2502.00280v1
- Date: Sat, 01 Feb 2025 02:35:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:52:31.454440
- Title: On the study of frequency control and spectral bias in Wavelet-Based Kolmogorov Arnold networks: A path to physics-informed KANs
- Title（参考訳）: ウェーブレットに基づくコルモゴロフ・アーノルドネットワークにおける周波数制御とスペクトルバイアスの研究:物理インフォームドカンへの道
- Authors: Juan Daniel Meshir, Abel Palafox, Edgar Alejandro Guerrero,
- Abstract要約: スペクトルバイアス(英: Spectral bias)とは、ニューラルネットワークが初期のトレーニング段階で関数の低周波成分の学習を優先する傾向である。
我々はウェーブレット・コルモゴロフ・アーノルド・ネットワーク(Wav-KAN)のニューラルタンジェント・カーネル(NTK)の固有値を分析し、高周波成分に収束する能力を高める。
- 参考スコア（独自算出の注目度）: 0.35998666903987897
- License:
- Abstract: Spectral bias, the tendency of neural networks to prioritize learning low-frequency components of functions during the initial training stages, poses a significant challenge when approximating solutions with high-frequency details. This issue is particularly pronounced in physics-informed neural networks (PINNs), widely used to solve differential equations that describe physical phenomena. In the literature, contributions such as Wavelet Kolmogorov Arnold Networks (Wav-KANs) have demonstrated promising results in capturing both low- and high-frequency components. Similarly, Fourier features (FF) are often employed to address this challenge. However, the theoretical foundations of Wav-KANs, particularly the relationship between the frequency of the mother wavelet and spectral bias, remain underexplored. A more in-depth understanding of how Wav-KANs manage high-frequency terms could offer valuable insights for addressing oscillatory phenomena encountered in parabolic, elliptic, and hyperbolic differential equations. In this work, we analyze the eigenvalues of the neural tangent kernel (NTK) of Wav-KANs to enhance their ability to converge on high-frequency components, effectively mitigating spectral bias. Our theoretical findings are validated through numerical experiments, where we also discuss the limitations of traditional approaches, such as standard PINNs and Fourier features, in addressing multi-frequency problems.
- Abstract（参考訳）: スペクトルバイアス(英: Spectral bias)とは、ニューラルネットワークが初期のトレーニング段階で関数の低周波成分の学習を優先する傾向である。
この問題は物理インフォームドニューラルネットワーク(PINN)において特に顕著であり、物理現象を記述する微分方程式の解法として広く用いられている。
この論文では、Wavelet Kolmogorov Arnold Networks (Wav-KANs) のようなコントリビューションが、低周波成分と高周波成分の両方を捕捉する有望な結果を示している。
同様に、この課題に対処するために、Fourier機能(FF)がよく使用される。
しかし、Wav-KANsの理論的基礎、特に母ウェーブレットの周波数とスペクトルバイアスの関係は未解明のままである。
Wav-KANが高頻度用語をどのように管理するかをより深く理解することで、放物線、楕円線、双曲微分方程式で発生する振動現象に対処するための貴重な洞察を与えることができる。
本研究では,Wav-KANのニューラルタンジェントカーネル(NTK)の固有値を分析し,その高周波数成分への収束性を高め,スペクトルバイアスを効果的に緩和する。
数値実験により理論的知見を検証し,多周波問題に対処する上での標準PINNやフーリエ機能といった従来のアプローチの限界についても考察した。
関連論文リスト
- Understanding the dynamics of the frequency bias in neural networks [0.0]
近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。
2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。
実験により、同じ原理が多層NNに拡張されていることを示す。
論文 参考訳（メタデータ） (2024-05-23T18:09:16Z) - Quantum error mitigation for Fourier moment computation [49.1574468325115]
本稿では、超伝導量子ハードウェアにおける核効果場理論の文脈におけるフーリエモーメントの計算に焦点を当てる。
この研究は、制御反転ゲートを用いたアダマール試験にエコー検証と雑音再正規化を統合した。
ノイズモデルを用いて解析した結果,2桁のノイズ強度が顕著に低下することが判明した。
論文 参考訳（メタデータ） (2024-01-23T19:10:24Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Understanding the Spectral Bias of Coordinate Based MLPs Via Training
Dynamics [2.9443230571766854]
本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。
次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
論文 参考訳（メタデータ） (2023-01-14T04:21:25Z) - Investigations on convergence behaviour of Physics Informed Neural
Networks across spectral ranges and derivative orders [0.0]
ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。
SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。
これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。
正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
論文 参考訳（メタデータ） (2023-01-07T06:31:28Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳（メタデータ） (2022-11-28T09:57:15Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - Overview frequency principle/spectral bias in deep learning [8.78791231619729]
深層ニューラルネットワーク(DNN)の学習行動の周波数原理(F-Principle)を示す。
F-原則は1次元の合成データによって最初に実証され、続いて高次元の実データセットで検証される。
この低周波バイアスは、低周波関数の学習におけるニューラルネットワークの強みと、高周波関数の学習におけるその欠如を明らかにする。
論文 参考訳（メタデータ） (2022-01-19T03:08:33Z) - F-FADE: Frequency Factorization for Anomaly Detection in Edge Streams [53.70940420595329]
エッジストリームにおける異常検出のための新しいアプローチであるF-FADEを提案する。
ノード対間の相互作用の周波数の時間進化分布を効率的にモデル化するために、新しい周波数分解技術を用いる。
F-FADEは、一定メモリしか必要とせず、時間的および構造的な変化を伴う幅広い種類の異常をオンラインストリーミング環境で処理できる。
論文 参考訳（メタデータ） (2020-11-09T19:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。