論文の概要: Spectrum-Informed Multistage Neural Networks: Multiscale Function Approximators of Machine Precision

• arxiv url: http://arxiv.org/abs/2407.17213v1
• Date: Wed, 24 Jul 2024 12:11:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 13:54:30.631062
• Title: Spectrum-Informed Multistage Neural Networks: Multiscale Function Approximators of Machine Precision
• Title（参考訳）: スペクトルインフォームド多段階ニューラルネットワーク:機械精度のマルチスケール関数近似器
• Authors: Jakin Ng, Yongji Wang, Ching-Yao Lai,
• Abstract要約: 我々は,新しい多段階ニューラルネットワークを用いて,前段階から残余を学習する。 ニューラルネットワークのスペクトルバイアスにうまく取り組みました。 このアプローチにより、ニューラルネットワークはターゲット関数を二重浮動小数点マシン精度に適合させることができる。
• 参考スコア（独自算出の注目度）: 1.2663244405597374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning frameworks have become powerful tools for approaching scientific problems such as turbulent flow, which has wide-ranging applications. In practice, however, existing scientific machine learning approaches have difficulty fitting complex, multi-scale dynamical systems to very high precision, as required in scientific contexts. We propose using the novel multistage neural network approach with a spectrum-informed initialization to learn the residue from the previous stage, utilizing the spectral biases associated with neural networks to capture high frequency features in the residue, and successfully tackle the spectral bias of neural networks. This approach allows the neural network to fit target functions to double floating-point machine precision $O(10^{-16})$.
• Abstract（参考訳）: ディープラーニングフレームワークは,広範に応用されている乱流などの科学的問題にアプローチするための強力なツールとなっている。 しかし、実際、既存の科学的機械学習アプローチは、科学的な文脈で必要とされるように、複雑なマルチスケールの力学系を非常に高精度に適合させることが困難である。 本稿では、スペクトルインフォームド初期化を用いた新しい多段階ニューラルネットワーク手法を用いて、前段階から残差を学習し、ニューラルネットワークに付随するスペクトルバイアスを利用して残差の高周波特性を捕捉し、ニューラルネットワークのスペクトルバイアスにうまく取り組むことを提案する。 このアプローチにより、ニューラルネットワークはターゲット関数を二重浮動小数点マシン精度$O(10^{-16})$に適合させることができる。

関連論文リスト

• Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
  行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。 本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-18T05:39:32Z)
• Multi-stage Neural Networks: Function Approximator of Machine Precision [0.456877715768796]
  予測誤差をO(10-16)$以下に抑えるマルチステージニューラルネットワークを開発し、ネットワークサイズを大きくし、トレーニングの繰り返しを延長する。 回帰問題と物理インフォームドニューラルネットワークの両方に対する多段階学習による予測誤差は, 有限個の繰り返しにおいて, 機械精度$O(10-16)$の二重浮動小数点にほぼ到達できることを実証した。
  論文  参考訳（メタデータ） (2023-07-18T02:47:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Functional Connectome: Approximating Brain Networks with Artificial Neural Networks [1.952097552284465]
  訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。 訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。 本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2022-11-23T13:12:13Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
  本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。 重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。 数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
  論文  参考訳（メタデータ） (2020-08-11T23:38:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。