論文の概要: Spectral Bias in Practice: The Role of Function Frequency in Generalization

• arxiv url: http://arxiv.org/abs/2110.02424v1
• Date: Wed, 6 Oct 2021 00:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 14:20:28.596867
• Title: Spectral Bias in Practice: The Role of Function Frequency in Generalization
• Title（参考訳）: スペクトルバイアスの実践 : 一般化における関数周波数の役割
• Authors: Sara Fridovich-Keil, Raphael Gontijo-Lopes, Rebecca Roelofs
• Abstract要約: 現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。 一般化するネットワークは、データの適合に十分な複雑さを持つと同時に、過度な適合を避けるのに十分な単純さとバランスをとっています。 我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にする。
• 参考スコア（独自算出の注目度）: 10.7218588164913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their ability to represent highly expressive functions, deep learning models trained with SGD seem to find simple, constrained solutions that generalize surprisingly well. Spectral bias - the tendency of neural networks to prioritize learning low frequency functions - is one possible explanation for this phenomenon, but so far spectral bias has only been observed in theoretical models and simplified experiments. In this work, we propose methodologies for measuring spectral bias in modern image classification networks. We find that these networks indeed exhibit spectral bias, and that networks that generalize well strike a balance between having enough complexity(i.e. high frequencies) to fit the data while being simple enough to avoid overfitting. For example, we experimentally show that larger models learn high frequencies faster than smaller ones, but many forms of regularization, both explicit and implicit, amplify spectral bias and delay the learning of high frequencies. We also explore the connections between function frequency and image frequency and find that spectral bias is sensitive to the low frequencies prevalent in natural images. Our work enables measuring and ultimately controlling the spectral behavior of neural networks used for image classification, and is a step towards understanding why deep models generalize well
• Abstract（参考訳）: 非常に表現力のある関数を表現できるにもかかわらず、SGDで訓練されたディープラーニングモデルは、驚くほどうまく一般化する単純で制約のあるソリューションを見つけるように思える。 ニューラルネットワークが低周波関数の学習を優先する傾向にあるスペクトルバイアスは、この現象の1つの可能な説明であるが、これまでのところ、スペクトルバイアスは理論モデルや単純な実験でのみ観察されている。 本研究では,現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。 これらのネットワークは実際にスペクトルバイアスを示しており、オーバーフィッティングを避けるのに十分な単純さを保ちながら、データの適合に十分な複雑性(高頻度)を持つネットワークとのバランスをうまく一般化する。 例えば、より大規模なモデルはより小さなモデルよりも高速に学習できることを実験的に示すが、明示的かつ暗黙的に多くの正規化形式がスペクトルバイアスを増幅し、高頻度の学習を遅らせる。 また, 機能周波数と画像周波数の相関について検討し, スペクトルバイアスが自然画像に分布する低周波数に敏感であることを見出した。 我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にし、なぜディープモデルが一般化されるのかを理解するためのステップである。

関連論文リスト

• Tuning Frequency Bias of State Space Models [48.60241978021799]
  状態空間モデル(SSM)は、線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを学習する。 その結果,SSMは低周波成分を高周波成分よりも効果的に捕捉する傾向を示した。
  論文  参考訳（メタデータ） (2024-10-02T21:04:22Z)
• GrassNet: State Space Model Meets Graph Neural Network [57.62885438406724]
  Graph State Space Network (GrassNet)は、任意のグラフスペクトルフィルタを設計するためのシンプルで効果的なスキームを提供する理論的なサポートを持つ、新しいグラフニューラルネットワークである。 我々の知る限り、我々の研究はグラフGNNスペクトルフィルタの設計にSSMを使った最初のものである。 9つの公開ベンチマークでの大規模な実験により、GrassNetは現実世界のグラフモデリングタスクにおいて優れたパフォーマンスを達成することが明らかになった。
  論文  参考訳（メタデータ） (2024-08-16T07:33:58Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Understanding robustness and generalization of artificial neural networks through Fourier masks [8.94889125739046]
  近年の文献では、画像の低周波処理には、優れた一般化特性を持つロバストネットワークが偏っていることが示唆されている。 トレーニングされたネットワークの性能を維持するのに必要な入力周波数を強調した変調マスクを学習するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-03-16T17:32:00Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Spatial Frequency Bias in Convolutional Generative Adversarial Networks [14.564246294896396]
  畳み込みGANが分布を学習する能力は、下層のキャリア信号の空間周波数に大きく影響していることを示す。 このバイアスは、単に自然画像における高頻度の欠如の結果であるだけでなく、データセットの優位性に関わらず、高頻度の学習を妨げる体系的バイアスであることを示す。
  論文  参考訳（メタデータ） (2020-10-04T03:05:29Z)
• Robust Learning with Frequency Domain Regularization [1.370633147306388]
  モデルのフィルタの周波数スペクトルを制約し,新しい正規化手法を提案する。 本研究では,(1)対向的摂動を抑えること,(2)異なるアーキテクチャにおける一般化のギャップを小さくすること,(3)微調整を伴わない伝達学習シナリオにおける一般化能力を向上させることによる正規化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-07T07:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。