論文の概要: Constructing Extreme Learning Machines with zero Spectral Bias

• arxiv url: http://arxiv.org/abs/2307.09759v1
• Date: Wed, 19 Jul 2023 05:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 15:27:23.289288
• Title: Constructing Extreme Learning Machines with zero Spectral Bias
• Title（参考訳）: スペクトルバイアスゼロによる極端学習マシンの構築
• Authors: Kaumudi Joshi, Vukka Snigdha, Arya Kumar Bhattacharya
• Abstract要約: 極端学習機械(ELM)は、スペクトルバイアス(SB)の理論的基礎を提供する反復解過程を妨害する この研究は、この仮定の信頼性を検証し、それが誤りであることを示す。 ELMの構造は、ANNでSBを緩和することが示されているフーリエ特徴埋め込みの変種の実装に自然に対応できる。 この手法はSBを完全に排除するために実装・検証されており、高い周波数の分解能が不可欠であるPINNのような実用上の問題に対してELMを適用可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The phenomena of Spectral Bias, where the higher frequency components of a function being learnt in a feedforward Artificial Neural Network (ANN) are seen to converge more slowly than the lower frequencies, is observed ubiquitously across ANNs. This has created technology challenges in fields where resolution of higher frequencies is crucial, like in Physics Informed Neural Networks (PINNs). Extreme Learning Machines (ELMs) that obviate an iterative solution process which provides the theoretical basis of Spectral Bias (SB), should in principle be free of the same. This work verifies the reliability of this assumption, and shows that it is incorrect. However, the structure of ELMs makes them naturally amenable to implementation of variants of Fourier Feature Embeddings, which have been shown to mitigate SB in ANNs. This approach is implemented and verified to completely eliminate SB, thus bringing into feasibility the application of ELMs for practical problems like PINNs where resolution of higher frequencies is essential.
• Abstract（参考訳）: フィードフォワード人工ニューラルネットワーク(ann)で学習される関数の高周波数成分が、低周波数よりもよりゆっくりと収束するのを見るスペクトルバイアスの現象は、ann全体でユビキタスに観察される。 これは、物理情報ニューラルネットワーク(PINN)のように、高頻度の分解が不可欠な分野において、技術的な課題を生み出している。 スペクトルバイアス (SB) の理論的基礎を提供する反復的解法プロセスを妨げる極端学習機械 (ELM) は原則的に同じことをしないべきである。 この作業は、この仮定の信頼性を検証し、それが正しくないことを示しています。 しかし、EMMの構造は、ANNにおいてSBを緩和することが示されているフーリエ・フィーチャー・エンベディングの変種の実装に自然に対応できる。 この手法はSBを完全に排除するために実装・検証されており、高い周波数の分解能が不可欠であるPINNのような実用上の問題に対してELMを適用可能である。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders [0.0]
  ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。 SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。 これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。 正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
  論文  参考訳（メタデータ） (2023-01-07T06:31:28Z)
• Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs [86.35471039808023]
  Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。 iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。 提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
  論文  参考訳（メタデータ） (2022-11-28T09:57:15Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Understanding robustness and generalization of artificial neural networks through Fourier masks [8.94889125739046]
  近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。 トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-03-16T17:32:00Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• On the exact computation of linear frequency principle dynamics and its generalization [6.380166265263755]
  近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。 本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
  論文  参考訳（メタデータ） (2020-10-15T15:17:21Z)
• Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks [9.23835409289015]
  本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。 非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
  論文  参考訳（メタデータ） (2019-01-19T13:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。