論文の概要: Robust Fourier Neural Networks

• arxiv url: http://arxiv.org/abs/2409.02052v1
• Date: Tue, 3 Sep 2024 16:56:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 00:21:46.606759
• Title: Robust Fourier Neural Networks
• Title（参考訳）: ロバストフーリエニューラルネットワーク
• Authors: Halyun Jeong, Jihun Han,
• Abstract要約: フーリエ埋込層の後, 単純な対角層を導入することにより, ネットワークの騒音測定がより堅牢になることを示す。 特定の条件下では,フーリエ関数の非線形関数の雑音混合である関数も学習することができる。
• 参考スコア（独自算出の注目度）: 1.0589208420411014
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fourier embedding has shown great promise in removing spectral bias during neural network training. However, it can still suffer from high generalization errors, especially when the labels or measurements are noisy. We demonstrate that introducing a simple diagonal layer after the Fourier embedding layer makes the network more robust to measurement noise, effectively prompting it to learn sparse Fourier features. We provide theoretical justifications for this Fourier feature learning, leveraging recent developments in diagonal networks and implicit regularization in neural networks. Under certain conditions, our proposed approach can also learn functions that are noisy mixtures of nonlinear functions of Fourier features. Numerical experiments validate the effectiveness of our proposed architecture, supporting our theory.
• Abstract（参考訳）: フーリエ埋め込みは、ニューラルネットワークトレーニング中にスペクトルバイアスを取り除くことに大きな期待を示している。 しかし、特にラベルや測定がうるさい場合には、高い一般化誤差に悩まされることがある。 本研究では,Fourier埋め込み層の後,単純な対角層を導入することで,ノイズの測定にネットワークをより堅牢にし,疎度なFourier特徴の学習を効果的に促すことを実証する。 このフーリエ特徴学習の理論的正当性を提供し、近年の対角ネットワークの発展とニューラルネットワークにおける暗黙の正規化を活用している。 特定の条件下では、フーリエ関数の非線形関数の雑音混合である関数も学習することができる。 提案手法の有効性を数値実験で検証し,本理論を裏付ける。

関連論文リスト

• Plastic Learning with Deep Fourier Features [42.41137083374963]
  プラスチックのアルゴリズムに繋がる基本原理を特定します。 特に, 線形関数近似は, 深部線形ネットワークの特殊な場合と同様に, 可塑性の喪失に悩まされないことを示す理論的結果を提供する。 ディープ・ネットワークは、ディープ・フーリエの機能によって構成され、高度にトレーニング可能であり、学習過程を通じてトレーニング性を維持している。
  論文  参考訳（メタデータ） (2024-10-27T23:38:06Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Fourier Sensitivity and Regularization of Computer Vision Models [11.79852671537969]
  本稿では,ディープニューラルネットワークの周波数感度特性について,原理的アプローチを用いて検討する。 コンピュータビジョンモデルは、データセット、トレーニング方法、アーキテクチャに依存する特定の周波数に一貫して敏感であることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T10:05:35Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Set Functions that are Sparse in Non-Orthogonal Fourier Bases [73.53227696624306]
  フーリエスパース集合関数を学習するための新しいアルゴリズム群を提案する。 Walsh-Hadamard変換に焦点をあてた他の研究とは対照的に、我々の新しいアルゴリズムは最近導入された非直交フーリエ変換で機能する。 いくつかの実世界のアプリケーションで有効性を示す。
  論文  参考訳（メタデータ） (2020-10-01T14:31:59Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)
• Fourier Neural Networks as Function Approximators and Differential Equation Solvers [0.456877715768796]
  活性化と損失関数の選択は、フーリエ級数展開を密接に再現する結果をもたらす。 我々はこのFNNを自然周期的滑らかな関数と断片的連続周期関数で検証する。 現在のアプローチの主な利点は、トレーニング領域外のソリューションの有効性、トレーニングされたモデルの解釈可能性、使用の単純さである。
  論文  参考訳（メタデータ） (2020-05-27T00:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。