論文の概要: Multi-stage Neural Networks: Function Approximator of Machine Precision
- arxiv url: http://arxiv.org/abs/2307.08934v1
- Date: Tue, 18 Jul 2023 02:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 16:39:58.246529
- Title: Multi-stage Neural Networks: Function Approximator of Machine Precision
- Title(参考訳): 多段階ニューラルネットワーク:機械精度の関数近似器
- Authors: Yongji Wang, Ching-Yao Lai
- Abstract要約: 予測誤差をO(10-16)$以下に抑えるマルチステージニューラルネットワークを開発し、ネットワークサイズを大きくし、トレーニングの繰り返しを延長する。
回帰問題と物理インフォームドニューラルネットワークの両方に対する多段階学習による予測誤差は, 有限個の繰り返しにおいて, 機械精度$O(10-16)$の二重浮動小数点にほぼ到達できることを実証した。
- 参考スコア(独自算出の注目度): 0.456877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning techniques are increasingly applied to scientific problems,
where the precision of networks is crucial. Despite being deemed as universal
function approximators, neural networks, in practice, struggle to reduce the
prediction errors below $O(10^{-5})$ even with large network size and extended
training iterations. To address this issue, we developed the multi-stage neural
networks that divides the training process into different stages, with each
stage using a new network that is optimized to fit the residue from the
previous stage. Across successive stages, the residue magnitudes decreases
substantially and follows an inverse power-law relationship with the residue
frequencies. The multi-stage neural networks effectively mitigate the spectral
biases associated with regular neural networks, enabling them to capture the
high frequency feature of target functions. We demonstrate that the prediction
error from the multi-stage training for both regression problems and
physics-informed neural networks can nearly reach the machine-precision
$O(10^{-16})$ of double-floating point within a finite number of iterations.
Such levels of accuracy are rarely attainable using single neural networks
alone.
- Abstract(参考訳): 深層学習技術は、ネットワークの精度が不可欠である科学的な問題にますます応用されている。
普遍関数近似器と見なされているが、実際にはニューラルネットワークは、大きなネットワークサイズと拡張されたトレーニングイテレーションであっても、$O(10^{-5})以下の予測エラーを減らすのに苦労している。
この問題に対処するために,我々は,トレーニングプロセスを異なるステージに分割するマルチステージニューラルネットワークを開発した。
逐次段階において、残差等級は実質的に減少し、残差周波数との逆パワーロー関係に従う。
多段ニューラルネットワークは、通常のニューラルネットワークに関連するスペクトルバイアスを効果的に軽減し、ターゲット関数の高周波特性を捉えることができる。
回帰問題と物理インフォームドニューラルネットワークの両方に対する多段階学習による予測誤差は, 有限個の繰り返しにおいて, 機械精度$O(10^{-16})$の二重浮動小数点にほぼ達することを示した。
このような精度のレベルは、単一のニューラルネットワークだけで達成することは滅多にない。
関連論文リスト
- A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳(メタデータ) (2023-05-16T20:06:01Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Global quantitative robustness of regression feed-forward neural
networks [0.0]
我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。
我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。
この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
論文 参考訳(メタデータ) (2022-11-18T09:57:53Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Improving the Trainability of Deep Neural Networks through Layerwise
Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。
損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文 参考訳(メタデータ) (2022-08-01T20:31:58Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。
神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。
我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
論文 参考訳(メタデータ) (2022-06-09T17:59:57Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Measurement error models: from nonparametric methods to deep neural
networks [3.1798318618973362]
本稿では,測定誤差モデルの推定に有効なニューラルネットワーク設計を提案する。
完全に接続されたフィードフォワードニューラルネットワークを用いて回帰関数を$f(x)$に近似する。
我々は、ニューラルネットワークアプローチと古典的ノンパラメトリック手法を比較するために、広範囲にわたる数値的研究を行っている。
論文 参考訳(メタデータ) (2020-07-15T06:05:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。