Fugu-MT 論文翻訳(概要): Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features

論文の概要: Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features

arxiv url: http://arxiv.org/abs/2402.00332v1
Date: Thu, 1 Feb 2024 04:35:37 GMT
ステータス: 処理完了
システム内更新日: 2024-02-02 16:22:33.472273
Title: Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features
Title（参考訳）: 2層ニューラルネットワークのスペクトルバイアスとロバスト性の比較:sgdと適応的ランダムフーリエ
Authors: Aku Kammonen and Lisi Liang and Anamika Pandey and Ra\'ul Tempone
Abstract要約: 本稿では,2層ニューラルネットワークのトレーニングアルゴリズムの選択による2つの重要な違いを明らかにする実験結果について述べる。適応的ランダム特徴量アルゴリズム(ARFF)は、近勾配降下(SGD)と比較してスペクトルバイアスをゼロにすることができる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present experimental results highlighting two key differences resulting from the choice of training algorithm for two-layer neural networks. The spectral bias of neural networks is well known, while the spectral bias dependence on the choice of training algorithm is less studied. Our experiments demonstrate that an adaptive random Fourier features algorithm (ARFF) can yield a spectral bias closer to zero compared to the stochastic gradient descent optimizer (SGD). Additionally, we train two identically structured classifiers, employing SGD and ARFF, to the same accuracy levels and empirically assess their robustness against adversarial noise attacks.
Abstract（参考訳）: 本稿では,2層ニューラルネットワークのトレーニングアルゴリズムの選択による2つの重要な違いを明らかにする実験結果を示す。ニューラルネットワークのスペクトルバイアスはよく知られており、トレーニングアルゴリズムの選択に対するスペクトルバイアスは研究されていない。実験により,適応ランダムフーリエ特徴量アルゴリズム(ARFF)は確率勾配勾配最適化器(SGD)と比較して,0に近いスペクトルバイアスが得られることを示した。さらに,SGDとARFFを併用した2つの同一構成型分類器を同一精度で訓練し,対向雑音攻撃に対するロバスト性を実証的に評価した。

関連論文リスト

Neural Fast Full-Rank Spatial Covariance Analysis for Blind Source Separation [26.6020148790775]
本稿では,ニューラルネットワーク分離モデルに対する効率的な教師なし学習手法について述べる。本稿では,結合対角化可能なフルランク空間モデルに基づくニューラルFastFCAを提案する。 2〜4つの音源の混合信号を用いた実験により、ニューラルFastFCAは従来のBSS法よりも優れていた。
論文参考訳（メタデータ） (2023-06-17T02:50:17Z)
A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文参考訳（メタデータ） (2023-05-16T20:06:01Z)
Frequency and Scale Perspectives of Feature Extraction [5.081561820537235]
ニューラルネットワークの周波数とスケールに対する感度を分析する。ニューラルネットワークは低周波と中周波のバイアスを持つが、異なるクラスに対して異なる周波数帯域を好む。これらの観察により、ニューラルネットワークは様々なスケールと周波数で特徴を抽出する能力を学ぶ必要があるという仮説が導かれる。
論文参考訳（メタデータ） (2023-02-24T06:37:36Z)
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping [51.698273019061645]
SpecGradは拡散雑音に適応し、その時間変化スペクトル包絡が条件付き対数メル分光器に近づく。時間周波数領域で処理され、計算コストは従来のDDPMベースのニューラルボコーダとほぼ同じである。
論文参考訳（メタデータ） (2022-03-31T02:08:27Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning [2.28438857884398]
適応線形モデルをデコーダとして用いたエンコーダにランダムに描画された未学習重みを組み込んだランダム重み付き特徴ネットワークを提案する。この特殊表現により、RWFNは線形デコーダモデルのみを訓練することで、入力間の関係の度合いを効果的に学習することができる。 LTNと比較して、RWFNsはオブジェクト分類とSIIタスクにおけるオブジェクト間の部分関係の検出の両方において、より良い、あるいは類似した性能を達成できることを実証した。
論文参考訳（メタデータ） (2021-09-11T22:45:08Z)
Fast Approximate Spectral Normalization for Robust Deep Neural Networks [3.5027291542274357]
本稿ではフーリエ変換と層分離に基づくスペクトル正規化の近似アルゴリズムを提案する。我々のフレームワークは、最先端のスペクトル正規化と比較して、時間効率(60%)とモデル頑健(平均61%)の両方を著しく改善することができる。
論文参考訳（メタデータ） (2021-03-22T15:35:45Z)
Second-Order Component Analysis for Fault Detection [0.0]
高次ニューラルネットワークは、元のデータやノイズ、異常から重要な情報をオーバーフィッティングし、学習するリスクをもたらす可能性がある。本稿では,2次成分分析(SCA)と呼ばれる新しい故障検出手法を提案する。
論文参考訳（メタデータ） (2021-03-12T14:25:37Z)
Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文参考訳（メタデータ） (2021-03-01T08:25:26Z)
LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文参考訳（メタデータ） (2021-03-01T03:10:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。