論文の概要: Operator-informed initialization for Fourier features physics-informed neural networks

• arxiv url: http://arxiv.org/abs/2610.03378v1
• Date: Fri, 02 Oct 2026 14:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.421906
• Title: Operator-informed initialization for Fourier features physics-informed neural networks
• Title（参考訳）: 演算子インフォームド初期化による物理インフォームドニューラルネットワーク
• Abstract要約: ニューラルタンジェントカーネルシステムにおけるフーリエ特徴PINNのトレーニングダイナミクスを解析する。 周波数領域の残差を推定するために、明示的な進化方程式を導出する。 そこで本研究では,解いた特定のPDEに対して初期重量分布を調整する戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.159876164536607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physics-Informed Neural Networks (PINNs) typically exhibit spectral bias, where some frequencies of the target function converge more slowly than others. In this work, we analyze the training dynamics of Fourier Feature PINNs in the Neural Tangent Kernel regime to address this limitation. We derive an explicit evolution equation to estimate the residual error in the frequency domain, demonstrating that the convergence rate of specific frequencies is primarily governed by the product of the differential operator's symbol and the spectral density of the initialization weights. Leveraging this theoretical insight, we propose an informative initialization strategy that tailors the initial weight distribution to the specific PDE being solved. With this method, we can diminish the operator-induced spectral bias, balancing the convergence rates across the frequency spectrum and achieving better prediction accuracy. Numerical experiments on linear and nonlinear partial differential equations confirm that this initialization strategy improves learning dynamics and approximation accuracy across frequencies compared to standard initialization methods, with no additional training cost.
• Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は通常、ターゲット関数の周波数が他の関数よりもゆっくりと収束するスペクトルバイアスを示す。 本研究では,ニューラルタンジェントカーネルシステムにおけるフーリエ特徴PINNのトレーニングダイナミクスを分析し,この制限に対処する。 我々は、周波数領域の残差誤差を推定する明示的な進化方程式を導出し、特定の周波数の収束速度は、微分作用素のシンボルの積と初期化重みのスペクトル密度によって主に支配されることを示す。 この理論的洞察を生かして、解決される特定のPDEに対する初期重量分布を調整する情報的初期化戦略を提案する。 この手法により、演算子誘起スペクトルバイアスを低減し、周波数スペクトル間の収束率をバランスさせ、予測精度を向上することができる。 線形偏微分方程式と非線形偏微分方程式の数値実験により、この初期化戦略は、通常の初期化法と比較して、周波数間の学習力学と近似精度を向上し、追加の訓練コストを伴わないことを確認した。

関連論文リスト

• Deciphering Neural Reparameterized Full-Waveform Inversion with Neural Sensitivity Kernel and Wave Tangent Kernel [67.14508461124932]
  フルウェーブフォーム・インバージョン(FWI)は、限られた境界測定から波動方程式の未知のパラメータを推定する。 ニューラルリパラメータ化FWI(NeurFWI)の最近の進歩は、ニューラルネットワークを用いたパラメータを表現することによって、高品質な初期モデルとウェーブフィールドデータへの依存を減らすことができることを示している。 本研究では,ニューラル・センシティブ・カーネル (NSK) とウェーブ・タンジェント・カーネル (WTK) を構築し,それらの収束挙動をモデル領域とデータ領域の両方から解析する。
  論文  参考訳（メタデータ） (2026-05-14T04:49:23Z)
• FUTON: Fourier Tensor Network for Implicit Neural Representations [56.48739018255443]
  入射神経表現(INR)はシグナルを符号化する強力なツールとして現れてきたが、支配的な設計はしばしば収束が遅く、ノイズに過度に適応し、外挿が不十分である。 低ランクテンソル分解により係数がパラメータ化される一般化フーリエ級数として信号をモデル化するFUTONを導入する。
  論文  参考訳（メタデータ） (2026-02-13T19:31:44Z)
• Neuro-Spectral Architectures for Causal Physics-Informed Networks [4.105582334433184]
  NeuSAは古典的なスペクトル法に触発された新しいPINNのクラスである。 NeuSA は基礎となる PDE のスペクトル基底への射影を学習し、力学の有限次元表現をもたらす。 コードと事前訓練されたモデルがリリースされる。
  論文  参考訳（メタデータ） (2025-09-05T09:43:45Z)
• Analysis of Fourier Neural Operators via Effective Field Theory [11.824913874212802]
  無限次元関数空間におけるFNOの体系的有効場理論解析について述べる。 非線形な活性化は、必然的に周波数入力を周波数モードに分割し、それ以外はスペクトル乱れによって破棄されることを示す。 本研究は, 非線形性によってニューラル演算子が非自明な特徴を捉えることができることの定量化と, スケール不変なアクティベーションと残差接続がFNOにおける特徴学習を促進する理由を説明するものである。
  論文  参考訳（メタデータ） (2025-07-29T14:10:46Z)
• Understanding the dynamics of the frequency bias in neural networks [0.0]
  近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:09:16Z)
• Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders [0.0]
  ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。 SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。 これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。 正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
  論文  参考訳（メタデータ） (2023-01-07T06:31:28Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data [1.7188280334580197]
  勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。 我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
  論文  参考訳（メタデータ） (2022-05-28T02:31:19Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。