論文の概要: Initialization Bias of Fourier Neural Operator: Revisiting the Edge of
Chaos
- arxiv url: http://arxiv.org/abs/2310.06379v2
- Date: Thu, 15 Feb 2024 12:03:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 23:50:00.970861
- Title: Initialization Bias of Fourier Neural Operator: Revisiting the Edge of
Chaos
- Title(参考訳): フーリエニューラル演算子の初期化バイアス:カオスのエッジの再検討
- Authors: Takeshi Koshizuka, Masahiro Fujisawa, Yusuke Tanaka, and Issei Sato
- Abstract要約: カオス視点の遠近点からランダムなFNOの挙動を解析し、FNOの平均場理論を確立する。
モード切り離しによって生じるFNO特有の特性が,前向きおよび後向きの伝搬挙動に現れることが判明した。
- 参考スコア(独自算出の注目度): 31.030338985431722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the initialization bias of the Fourier neural
operator (FNO). A mean-field theory for FNO is established, analyzing the
behavior of the random FNO from an \emph{edge of chaos} perspective. We uncover
that the forward and backward propagation behaviors exhibit characteristics
unique to FNO, induced by mode truncation, while also showcasing similarities
to those of densely connected networks. Building upon this observation, we also
propose an edge of chaos initialization scheme for FNO to mitigate the negative
initialization bias leading to training instability. Experimental results show
the effectiveness of our initialization scheme, enabling stable training of
deep FNO without skip-connection.
- Abstract(参考訳): 本稿ではフーリエ神経演算子(FNO)の初期化バイアスについて検討する。
FNOの平均場理論が確立され、ランダムなFNOの挙動を \emph{edge of chaos} の観点から分析する。
本研究では, モード切り離しによるFNO特有の特性を示すとともに, 密結合ネットワークと類似性を示す。
この観察に基づいて,fno のカオス初期化スキームのエッジを提案し,トレーニング不安定性につながる負初期化バイアスを緩和する。
実験結果から, スキップ接続を伴わない深部FNOの安定訓練が可能な初期化方式の有効性が示された。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Sharper analysis of sparsely activated wide neural networks with
trainable biases [103.85569570164404]
本研究は,ニューラル・タンジェント・カーネル(NTK)の勾配勾配による一層超過パラメータ化ReLUネットワークのトレーニング研究である。
驚くべきことに、スパシフィケーション後のネットワークは、元のネットワークと同じくらい高速に収束できることが示されている。
一般化境界は制限NTKの最小固有値に依存するため、この研究は制限NTKの最小固有値をさらに研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。
我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。
我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-07-14T23:54:54Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - Towards strong pruning for lottery tickets with non-zero biases [6.85316573653194]
宝くじの仮説は、ランダムに深いニューラルネットワークをプルーニングすることで、ディープラーニングに代わる効率的な代替手段が提供されることを約束している。
共通パラメータスキームと存在証明は、勾配バイアスがゼロのネットワークに焦点を当てている。
我々はこれらのスキームと存在証明を非ゼロバイアスに拡張し、ReLUアクティベーション関数に対する明示的な 'looks-linear' アプローチを含む。
論文 参考訳(メタデータ) (2021-10-21T13:56:04Z) - Vanishing Curvature and the Power of Adaptive Methods in Randomly
Initialized Deep Networks [30.467121747150816]
本稿では,ニューラルネットワークの深部で一般的に発生する,いわゆる消滅勾配現象を再考する。
ネットワーク幅が O(depth) 未満のスケールでは, 消失勾配を回避できないことを示す。
論文 参考訳(メタデータ) (2021-06-07T16:29:59Z) - On the Explicit Role of Initialization on the Convergence and Implicit
Bias of Overparametrized Linear Networks [1.0323063834827415]
勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。
正方形損失はその最適値に指数関数的に収束することを示す。
我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
論文 参考訳(メタデータ) (2021-05-13T15:13:51Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳(メタデータ) (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。