論文の概要: Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective
- arxiv url: http://arxiv.org/abs/2310.06379v3
- Date: Thu, 26 Sep 2024 07:05:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 10:01:09.835458
- Title: Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective
- Title（参考訳）: フーリエニューラル演算子の表現性と訓練性:平均的視点
- Authors: Takeshi Koshizuka, Masahiro Fujisawa, Yusuke Tanaka, Issei Sato,
- Abstract要約: フーリエニューラルオペレータ(FNO)の表現性と訓練性について検討する
重み分布に基づくネットワークの秩序-カオス相転移について検討する。
規則相とカオス相は、消失と爆発する勾配の領域に対応する。
- 参考スコア（独自算出の注目度）: 31.030338985431722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explores the expressivity and trainability of the Fourier Neural Operator (FNO). We establish a mean-field theory for the FNO, analyzing the behavior of the random FNO from an edge of chaos perspective. Our investigation into the expressivity of a random FNO involves examining the ordered-chaos phase transition of the network based on the weight distribution. This phase transition demonstrates characteristics unique to the FNO, induced by mode truncation, while also showcasing similarities to those of densely connected networks. Furthermore, we identify a connection between expressivity and trainability: the ordered and chaotic phases correspond to regions of vanishing and exploding gradients, respectively. This finding provides a practical prerequisite for the stable training of the FNO. Our experimental results corroborate our theoretical findings.
- Abstract（参考訳）: 本稿では,フーリエニューラル演算子(FNO)の表現性と訓練性について検討する。
我々は、カオスの観点から、ランダムなFNOの挙動を解析し、FNOの平均場理論を確立する。
ランダムなFNOの表現性について,重み分布に基づくネットワークの秩序-カオス相転移について検討する。
この相転移は、モード切断によって誘導されるFNOに特有の特性を示すと同時に、密結合ネットワークと類似点を示す。
さらに, 規則相とカオス相は, それぞれ消失勾配と爆発勾配の領域に対応する。
この発見は、FNOの安定した訓練のための実践的な前提条件を提供する。
実験結果は理論的な結果と相関する。
関連論文リスト
- Learning S-Matrix Phases with Neural Operators [0.0]
固定エネルギーにおける2-2$弾性散乱における振幅の弾性率と位相の関係について検討した。
我々はユニタリティによって課される積分関係を使わず、FNOを訓練して有限部分波展開を持つ振幅の多くのサンプルから発見する。
論文 参考訳（メタデータ） (2024-04-22T19:46:07Z) - Phase Matching for Out-of-Distribution Generalization [9.786356781007122]
本稿では,ドメイン一般化(DG)と周波数成分の関係を明らかにすることを目的とした。
我々は、DG問題に対処するPhaMaと呼ばれる位相マッチング手法を提案する。
複数のベンチマーク実験により,提案手法が最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2023-07-24T08:51:49Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳（メタデータ） (2023-03-01T10:38:10Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Stochastic Gradient Descent-Induced Drift of Representation in a
Two-Layer Neural Network [0.0]
脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。
ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
論文 参考訳（メタデータ） (2023-02-06T04:56:05Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Discretely Indexed Flows [1.0079626733116611]
本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。
DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。
これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
論文 参考訳（メタデータ） (2022-04-04T10:13:43Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳（メタデータ） (2021-11-27T03:34:13Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳（メタデータ） (2021-10-10T04:37:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。