論文の概要: Spectral Bottleneck in Deep Neural Networks: Noise is All You Need

• arxiv url: http://arxiv.org/abs/2509.09719v1
• Date: Tue, 09 Sep 2025 22:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:16.427014
• Title: Spectral Bottleneck in Deep Neural Networks: Noise is All You Need
• Title（参考訳）: ディープニューラルネットワークのスペクトルボツネック:ノイズは必要なだけ
• Authors: Hemanth Chandravamsi, Dhanush V. Shenoy, Itay Zinn, Shimon Pisnoy, Steven H. Frankel,
• Abstract要約: 本稿では,スペクトルのボトルネックの影響を受けやすい高周波優先信号の適合性について検討する。 周波数の内容に関わらず、任意のターゲット信号に効果的に適合させるため、一般化されたターゲット摂動スキームを提案する。 本研究では,ネットワーク活性化スペクトルと経験的ニューラル・タンジェント・カーネルの固有ベイジを制御できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are known to exhibit a spectral learning bias, wherein low-frequency components are learned early in training, while high-frequency modes emerge more gradually in later epochs. However, when the target signal lacks low-frequency components and is dominated by broadband high frequencies, training suffers from a 'spectral bottleneck', and the model fails to reconstruct the entire signal, including the frequency components that lie within the network's representational capacity. We examine such a scenario in the context of implicit neural representations (INRs) with sinusoidal representation networks (SIRENs), focusing on the challenge of fitting high-frequency-dominant signals that are susceptible to spectral bottleneck. To effectively fit any target signal irrespective of it's frequency content, we propose a generalized target-aware 'weight perturbation scheme' (WINNER - weight initialization with noise for neural representations) for network initialization. The scheme perturbs uniformly initialized weights with Gaussian noise, where the noise scales are adaptively determined by the spectral centroid of the target signal. We show that the noise scales can provide control over the spectra of network activations and the eigenbasis of the empirical neural tangent kernel. This method not only addresses the spectral bottleneck but also yields faster convergence and with improved representation accuracy, outperforming state-of-the-art approaches in audio fitting and achieving notable gains in image fitting and denoising tasks. Beyond signal reconstruction, our approach opens new directions for adaptive weight initialization strategies in computer vision and scientific machine learning.
• Abstract（参考訳）: ディープニューラルネットワークはスペクトル学習バイアスを示し、トレーニングの初期に低周波成分が学習されることが知られている。 しかし、ターゲット信号が低周波成分を欠き、ブロードバンドの高周波に支配される場合、トレーニングは「スペクトルボトルネック」に悩まされ、ネットワークの表現能力内にある周波数成分を含む全信号の再構成に失敗する。 本研究は, スペクトルボトルネックの影響を受けやすい高周波支配信号の適応に焦点をあて, 正弦波表現ネットワーク(SIREN)を用いた暗黙的ニューラル表現(INR)の文脈におけるそのようなシナリオについて検討する。 ネットワーク初期化のために,その周波数によらず,任意のターゲット信号を効果的に適合させるため,一般化された目標認識型「重摂動スキーム (WINNER) 」を提案する。 このスキームは、目標信号のスペクトルセントロイドによって雑音スケールが適応的に決定されるガウス雑音で均一に初期化重みを摂動する。 本研究では,ネットワーク活性化スペクトルと経験的ニューラル・タンジェント・カーネルの固有ベイジを制御できることを示す。 この手法は、スペクトルボトルネックに対処するだけでなく、より高速な収束と表現精度の向上、オーディオフィッティングにおける最先端のアプローチの向上、画像フィッティングやデノイングタスクの顕著な向上を実現している。 信号再構成以外にも,コンピュータビジョンと科学機械学習における適応重み付け初期化戦略の新たな方向性を開拓する。

関連論文リスト

• Neuromorphic Wireless Split Computing with Resonate-and-Fire Neurons [69.73249913506042]
  本稿では、共振器(RF)ニューロンを用いて時間領域信号を直接処理する無線スプリットコンピューティングアーキテクチャについて検討する。 可変周波数で共鳴することにより、RFニューロンは低スパイク活性を維持しながら時間局在スペクトル特徴を抽出する。 実験の結果,提案したRF-SNNアーキテクチャは従来のLIF-SNNやANNと同等の精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-06-24T21:14:59Z)
• Scintillation pulse characterization with spectrum-inspired temporal neural networks: case studies on particle detector signals [1.124958340749622]
  本稿では,時系列解析に関するこれまでの研究に基づいて,シンチレーションパルスのキャラクタリゼーションに特化したネットワークアーキテクチャを提案する。 a)LUXダークマター検出器の設定によって生成されたシミュレーションデータと,(b)高速電子回路を用いた実験電気信号を用いて,NICA/MPD温度計のシンチレーション変動をエミュレートする。
  論文  参考訳（メタデータ） (2024-10-09T02:44:53Z)
• Tuning the Frequencies: Robust Training for Sinusoidal Neural Networks [1.5124439914522694]
  正弦波ネットワークの容量特性を説明する理論的枠組みを導入する。 入力周波数の整数結合として表される多数の新しい周波数を,その層組成によってどのように生成するかを示す。 提案手法はTUNERと呼ばれ, 正弦波INRトレーニングの安定性と収束性を大幅に改善し, より詳細な再建を行った。
  論文  参考訳（メタデータ） (2024-07-30T18:24:46Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics [2.9443230571766854]
  本稿では,ReLUネットワークの計算結果と勾配勾配収束速度の関連性について検討する。 次に、この定式化を用いて、低次元設定におけるスペクトルバイアスの重症度と位置符号化がこれを克服する方法について研究する。
  論文  参考訳（メタデータ） (2023-01-14T04:21:25Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
  本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。 基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。 シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
  論文  参考訳（メタデータ） (2021-06-10T04:21:20Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)
• Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
  PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。 雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
  論文  参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。