論文の概要: Analysis of Fourier Neural Operators via Effective Field Theory

• arxiv url: http://arxiv.org/abs/2507.21833v2
• Date: Tue, 16 Sep 2025 15:06:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.615736
• Title: Analysis of Fourier Neural Operators via Effective Field Theory
• Title（参考訳）: 有効場理論によるフーリエニューラル演算子の解析
• Authors: Taeyoung Kim,
• Abstract要約: 無限次元関数空間におけるFNOの体系的有効場理論解析について述べる。 非線形な活性化は、必然的に周波数入力を周波数モードに分割し、それ以外はスペクトル乱れによって破棄されることを示す。 本研究は, 非線形性によってニューラル演算子が非自明な特徴を捉えることができることの定量化と, スケール不変なアクティベーションと残差接続がFNOにおける特徴学習を促進する理由を説明するものである。
• 参考スコア（独自算出の注目度）: 11.824913874212802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Neural Operators (FNOs) have emerged as leading surrogates for solver operators for various functional problems, yet their stability, generalization and frequency behavior lack a principled explanation. We present a systematic effective field theory analysis of FNOs in an infinite dimensional function space, deriving closed recursion relations for the layer kernel and four point vertex and then examining three practically important settings-analytic activations, scale invariant cases and architectures with residual connections. The theory shows that nonlinear activations inevitably couple frequency inputs to high frequency modes that are otherwise discarded by spectral truncation, and experiments confirm this frequency transfer. For wide networks, we derive explicit criticality conditions on the weight initialization ensemble that ensure small input perturbations maintain a uniform scale across depth, and we confirm experimentally that the theoretically predicted ratio of kernel perturbations matches the measurements. Taken together, our results quantify how nonlinearity enables neural operators to capture non-trivial features, supply criteria for hyperparameter selection via criticality analysis, and explain why scale invariant activations and residual connections enhance feature learning in FNOs.
• Abstract（参考訳）: フーリエニューラル演算子 (FNO) は、様々な機能問題に対するソルバ演算子の主要なサロゲートとして登場したが、その安定性、一般化、周波数挙動は原則的な説明を欠いている。 無限次元関数空間におけるFNOの体系的有効場理論解析を行い, 層核と4点頂点の閉再帰関係を導出し, 3つの実質的に重要な設定解析的活性化, スケール不変ケース, 残余接続を持つアーキテクチャについて検討する。 この理論は、非線形なアクティベーションは、必然的にスペクトルの切り捨てによって取り除かれた高周波モードへの周波数入力をカップリングすることを示し、実験によりこの周波数伝達が確認される。 広帯域ネットワークでは,小入力摂動が深さにわたって均一なスケールを維持するために,重み初期化アンサンブル上での明確な臨界条件を導出し,理論的に予測されたカーネル摂動比が測定値と一致することを実験的に確認する。 本研究の結果は, 非線形性によって非自明な特徴を捉えることができるか, 臨界分析によるハイパーパラメータ選択の供給基準, スケール不変なアクティベーションと残差接続がFNOにおける特徴学習を促進する理由を定量的に明らかにした。

関連論文リスト

• Contraction, Criticality, and Capacity: A Dynamical-Systems Perspective on Echo-State Networks [13.857230672081489]
  本稿では,機能解析,ランダム・アトラクタ理論,最近の神経科学的な知見を融合した統合的動的システム治療について述べる。 まず,大域リプシッツ力学とともにエコー状態特性(初期条件の洗い出し)がフェーディングメモリ特性をもたらすことを証明した。 第二に、ストーン・ワイエルシュトラスの戦略を用いて、非線形貯水池と線形リードアウトを持つESNが、因果的、タイムイン・フェイディング・メモリ・フィルタのバナッハ空間に密着していることを示す。 第3に、メモリ容量スペクトルを用いて計算資源を定量化し、どのように示すかを示す。
  論文  参考訳（メタデータ） (2025-07-24T14:41:18Z)
• Neural Contraction Metrics with Formal Guarantees for Discrete-Time Nonlinear Dynamical Systems [17.905596843865705]
  収縮メトリクスは、様々な力学系の安定性、堅牢性、収束性を分析する強力なフレームワークを提供する。 しかしながら、複雑な非線形系に対するこれらの指標の同定は、効果的なツールが欠如しているため、未解決の課題である。 本稿では,離散的スケーラブル非線形システムに対する検証可能な収縮指標について述べる。
  論文  参考訳（メタデータ） (2025-04-23T21:27:32Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Muti-Fidelity Prediction and Uncertainty Quantification with Laplace Neural Operators for Parametric Partial Differential Equations [6.03891813540831]
  Laplace Neural Operators (LNOs) は、科学機械学習において有望なアプローチとして登場した。 低忠実度ベースモデルと並列線形/非線形HF補正と動的相互重み付けを組み合わせた多忠実Laplace Neural Operator (MF-LNOs)を提案する。 これにより、LFデータセットとHFデータセットの相関を利用して、興味のある量の正確な推測を行うことができる。
  論文  参考訳（メタデータ） (2025-02-01T20:38:50Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Phenomenology of Double Descent in Finite-Width Neural Networks [29.119232922018732]
  二重降下(double descend)は、モデルが属する体制に依存して行動を記述する。 我々は影響関数を用いて、人口減少とその下限の適切な表現を導出する。 本分析に基づき,損失関数が二重降下に与える影響について検討した。
  論文  参考訳（メタデータ） (2022-03-14T17:39:49Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Designing Kerr Interactions for Quantum Information Processing via Counterrotating Terms of Asymmetric Josephson-Junction Loops [68.8204255655161]
  静的空洞非線形性は通常、ボゾン量子誤り訂正符号の性能を制限する。 非線形性を摂動として扱うことで、シュリーファー・ヴォルフ変換を用いて実効ハミルトニアンを導出する。 その結果、立方体相互作用は、線形演算と非線形演算の両方の有効率を高めることができることがわかった。
  論文  参考訳（メタデータ） (2021-07-14T15:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。