論文の概要: Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2512.22192v1
• Date: Sat, 20 Dec 2025 11:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.872888
• Title: Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks
• Title（参考訳）: 周波数規則化:ディープニューラルネットワークのスペクトル誘導バイアスを明らかにする
• Authors: Jiahao Lu,
• Abstract要約: 現代畳み込みニューラルネットワーク(CNN)のスペクトルバイアスについて検討する。 トレーニング中のウェイト周波数の動的変化を追跡するためのビジュアル診断フレームワークを提案する。 本稿では,レギュレータの「低域フィルタリング」強度を定量化するために,スペクトル抑圧比 (SSR) を提案する。
• 参考スコア（独自算出の注目度）: 21.749207209704906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization techniques such as L2 regularization (Weight Decay) and Dropout are fundamental to training deep neural networks, yet their underlying physical mechanisms regarding feature frequency selection remain poorly understood. In this work, we investigate the Spectral Bias of modern Convolutional Neural Networks (CNNs). We introduce a Visual Diagnostic Framework to track the dynamic evolution of weight frequencies during training and propose a novel metric, the Spectral Suppression Ratio (SSR), to quantify the "low-pass filtering" intensity of different regularizers. By addressing the aliasing issue in small kernels (e.g., 3x3) through discrete radial profiling, our empirical results on ResNet-18 and CIFAR-10 demonstrate that L2 regularization suppresses high-frequency energy accumulation by over 3x compared to unregularized baselines. Furthermore, we reveal a critical Accuracy-Robustness Trade-off: while L2 models are sensitive to broadband Gaussian noise due to over-specialization in low frequencies, they exhibit superior robustness against high-frequency information loss (e.g., low resolution), outperforming baselines by >6% in blurred scenarios. This work provides a signal-processing perspective on generalization, confirming that regularization enforces a strong spectral inductive bias towards low-frequency structures.
• Abstract（参考訳）: L2正規化(重減少)やDropoutのような正規化技術は、ディープニューラルネットワークのトレーニングには基本的だが、特徴周波数選択に関する基礎となる物理メカニズムは理解されていない。 本研究では,現代畳み込みニューラルネットワーク(CNN)のスペクトルバイアスについて検討する。 トレーニング中のウェイト周波数の動的変化を追跡するための視覚診断フレームワークを導入し、異なる正規化器の「低域フィルタリング」強度を定量化するための新しい計量であるスペクトル抑圧比(SSR)を提案する。 ResNet-18およびCIFAR-10における実験結果から,L2正則化は非正規化ベースラインに比べて3倍以上の高周波エネルギー蓄積を抑制することが示された。 さらに,L2モデルは低周波の過渡化によるブロードバンドガウスノイズに敏感であるが,高周波情報損失(低分解能,低分解能)に対して優れた堅牢性を示し,ぼやけたシナリオでは6%以上のベースライン性能を示した。 この研究は一般化に関する信号処理の観点を提供し、正規化が低周波構造に対して強いスペクトル誘導バイアスを課すことを確認した。

関連論文リスト

• Spectral Bottleneck in Deep Neural Networks: Noise is All You Need [0.0]
  本稿では,スペクトルのボトルネックの影響を受けやすい高周波優先信号の適合性について検討する。 周波数の内容に関わらず、任意のターゲット信号に効果的に適合させるため、一般化されたターゲット摂動スキームを提案する。 本研究では,ネットワーク活性化スペクトルと経験的ニューラル・タンジェント・カーネルの固有ベイジを制御できることを示す。
  論文  参考訳（メタデータ） (2025-09-09T22:16:24Z)
• SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling [65.65474629224558]
  本稿ではスペクトル認識のための新しいパラダイムを提供するスペクトルFMと呼ばれるスペクトル基盤モデルを提案する。 畳み込みニューラルネットワークを利用した革新的なスペクトルエンコーダを提案し、スペクトルデータにおける微細な局所信号構造と高レベルのグローバルな依存関係の両方を効果的に捕捉する。 2つの新しい自己教師型学習タスク、すなわちマスク付き再構成と次のスロット信号予測が、SpectrumFMの事前学習のために開発され、モデルがリッチで伝達可能な表現を学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-02T14:40:50Z)
• SpINRv2: Implicit Neural Representation for Passband FMCW Radars [0.15193212081459279]
  本研究では,周波数変調連続波レーダを用いた高忠実度ボリューム再構成のためのニューラルネットワークSpINRv2を提案する。 我々のコアコントリビューションは、クローズドフォーム合成を用いて複雑なレーダ応答をキャプチャする、完全微分可能な周波数領域フォワードモデルである。 細かな範囲の解像度で生じる曖昧なサブビンの曖昧さを解消するために、スパーシリティと正規化を導入する。
  論文  参考訳（メタデータ） (2025-06-09T19:21:27Z)
• LOGLO-FNO: Efficient Learning of Local and Global Features in Fourier Neural Operators [20.77877474840923]
  高周波情報は機械学習における重要な課題である。 ディープニューラルネットワークは、低周波成分の学習に対するいわゆるスペクトルバイアスを示す。 放射結合スペクトル誤差に基づく新しい周波数感受性損失項を提案する。
  論文  参考訳（メタデータ） (2025-04-05T19:35:04Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。