論文の概要: Initialization Bias of Fourier Neural Operator: Revisiting the Edge of
Chaos
- arxiv url: http://arxiv.org/abs/2310.06379v2
- Date: Thu, 15 Feb 2024 12:03:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 23:50:00.970861
- Title: Initialization Bias of Fourier Neural Operator: Revisiting the Edge of
Chaos
- Title（参考訳）: フーリエニューラル演算子の初期化バイアス:カオスのエッジの再検討
- Authors: Takeshi Koshizuka, Masahiro Fujisawa, Yusuke Tanaka, and Issei Sato
- Abstract要約: カオス視点の遠近点からランダムなFNOの挙動を解析し、FNOの平均場理論を確立する。
モード切り離しによって生じるFNO特有の特性が,前向きおよび後向きの伝搬挙動に現れることが判明した。
- 参考スコア（独自算出の注目度）: 31.030338985431722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the initialization bias of the Fourier neural
operator (FNO). A mean-field theory for FNO is established, analyzing the
behavior of the random FNO from an \emph{edge of chaos} perspective. We uncover
that the forward and backward propagation behaviors exhibit characteristics
unique to FNO, induced by mode truncation, while also showcasing similarities
to those of densely connected networks. Building upon this observation, we also
propose an edge of chaos initialization scheme for FNO to mitigate the negative
initialization bias leading to training instability. Experimental results show
the effectiveness of our initialization scheme, enabling stable training of
deep FNO without skip-connection.
- Abstract（参考訳）: 本稿ではフーリエ神経演算子(FNO)の初期化バイアスについて検討する。
FNOの平均場理論が確立され、ランダムなFNOの挙動を \emph{edge of chaos} の観点から分析する。
本研究では, モード切り離しによるFNO特有の特性を示すとともに, 密結合ネットワークと類似性を示す。
この観察に基づいて,fno のカオス初期化スキームのエッジを提案し,トレーニング不安定性につながる負初期化バイアスを緩和する。
実験結果から, スキップ接続を伴わない深部FNOの安定訓練が可能な初期化方式の有効性が示された。
関連論文リスト
- Learning S-Matrix Phases with Neural Operators [0.0]
固定エネルギーにおける2-2$弾性散乱における振幅の弾性率と位相の関係について検討した。
我々はユニタリティによって課される積分関係を使わず、FNOを訓練して有限部分波展開を持つ振幅の多くのサンプルから発見する。
論文 参考訳（メタデータ） (2024-04-22T19:46:07Z) - Phase Matching for Out-of-Distribution Generalization [9.786356781007122]
本稿では,ドメイン一般化(DG)と周波数成分の関係を明らかにすることを目的とした。
我々は、DG問題に対処するPhaMaと呼ばれる位相マッチング手法を提案する。
複数のベンチマーク実験により,提案手法が最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2023-07-24T08:51:49Z) - D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。
このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。
さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
論文 参考訳（メタデータ） (2023-03-01T10:38:10Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Stochastic Gradient Descent-Induced Drift of Representation in a
Two-Layer Neural Network [0.0]
脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。
ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
論文 参考訳（メタデータ） (2023-02-06T04:56:05Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳（メタデータ） (2022-06-29T19:03:10Z) - Discretely Indexed Flows [1.0079626733116611]
本稿では,変分推定問題の解法として離散インデックスフロー(DIF)を提案する。
DIFは正規化フロー(NF)の拡張として構築され、決定論的輸送は離散的にインデックス付けされる。
これらは、トラクタブル密度と単純なサンプリングスキームの両方の利点があり、変分推論(VI)と変分密度推定(VDE)の二重問題に利用できる。
論文 参考訳（メタデータ） (2022-04-04T10:13:43Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳（メタデータ） (2022-01-25T17:13:56Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳（メタデータ） (2021-11-27T03:34:13Z) - Stability of Neural Networks on Manifolds to Relative Perturbations [118.84154142918214]
グラフニューラルネットワーク(GNN)は多くの実践シナリオにおいて素晴らしいパフォーマンスを示している。
GNNは大規模グラフ上でうまくスケールすることができるが、これは既存の安定性がノード数とともに増加するという事実に矛盾する。
論文 参考訳（メタデータ） (2021-10-10T04:37:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。