論文の概要: RepNN: Tackling spectral bias in deep neural networks via parameter reparameterization

• arxiv url: http://arxiv.org/abs/2606.16575v2
• Date: Thu, 18 Jun 2026 14:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 13:55:51.608925
• Title: RepNN: Tackling spectral bias in deep neural networks via parameter reparameterization
• Title（参考訳）: RepNN:パラメータ再パラメータ化によるディープニューラルネットワークのスペクトルバイアスへの対処
• Authors: Yong Wang, Tao Zhou, Xuhui Meng,
• Abstract要約: ディープニューラルネットワーク(DNN)は科学計算において大きな成功を収めている。 彼らはしばしば、振動やマルチスケールの振る舞いを捉える際にスペクトルバイアスに悩まされる。 本研究では,高周波機能に適合する浅部ReLUニューラルネットワークの故障について検討する。
• 参考スコア（独自算出の注目度）: 8.528546373000838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable success in scientific computing, yet they often suffer from spectral bias in capturing oscillatory and multiscale behaviors. In this study, we investigate this limitation by examining the failure of shallow ReLU neural networks in fitting high-frequency functions. This observation identifies two important factors in resolving rapid oscillations: the initial slope scale and the distribution of partition points induced by the networks. Motivated by this analysis, we propose RepNN, a reparameterized neural network model with activation ReLU or tanh designed for high-frequency and multiscale problems. The key idea is to reparameterize the weights and biases in the first hidden layer, which enables effective control of the initial slope scale and provides an appropriate distribution of the initial partition points. Furthermore, treating the reparameterized weights and biases as trainable parameters allows the DNN to achieve adaptive frequency scaling during training. In addition, we derive quantitative estimates for the output and slope magnitudes of the reparameterized DNN to guide the initialization of the proposed method. Numerical experiments, including multiscale one- and four-dimensional function approximations, forward and inverse PDE problems in combination with physics-informed neural networks (PINNs), and operator learning for an earthquake problem using real data, demonstrate that RepNN improves the predicted accuracy of vanilla DNNs in capturing highly oscillatory features with slightly additional computational cost. These results indicate that RepNN provides an effective and flexible approach for overcoming spectral bias and applying DNNs to multiscale problems.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は科学計算において顕著な成功を収めてきたが、しばしば振動やマルチスケールの振る舞いを捉える際にスペクトルバイアスに悩まされる。 本研究では、この制限を、高周波機能に適合する際の浅いReLUニューラルネットワークの故障を調べることによって検討する。 この観測により, 急激な振動の解消には, 初期傾斜スケールとネットワークによって誘導される分割点の分布の2つの重要な要因が同定された。 本稿では,ReLU や tanh を活性化する再パラメータ化ニューラルネットワークモデル RepNN を提案する。 鍵となる考え方は、第1の隠れた層における重みとバイアスを再パラメータ化し、初期斜面スケールを効果的に制御し、初期分割点の適切な分布を与えることである。 さらに、再パラメータ化された重みとバイアスをトレーニング可能なパラメータとして扱うことで、DNNはトレーニング中に適応周波数スケーリングを達成できる。 さらに,再パラメータ化DNNの出力および傾斜度を定量的に推定し,提案手法の初期化を導出する。 物理インフォームドニューラルネットワーク(PINN)と組み合わせた多スケール1次元および4次元関数近似、前方および逆PDE問題、実データを用いた地震問題に対する演算子学習などを含む数値実験により、RepNNは高振動特性をわずかに計算コストで捉えることにより、バニラDNNの予測精度を向上することを示した。 これらの結果は、RepNNがスペクトルバイアスを克服し、DNNをマルチスケール問題に適用するための効果的で柔軟なアプローチを提供することを示している。

関連論文リスト

• SBS: Enhancing Parameter-Efficiency of Neural Representations for Neural Networks via Spectral Bias Suppression [6.410718573605]
  ニューラルネットワークのニューラルネットワーク表現を通じて、畳み込みニューラルネットワーク重みを表現するために、暗黙の神経表現が拡張されている。 ニューラルネットワークの神経表現に使用される標準多層パーセプトロンは、顕著なスペクトルバイアスを示す。 本稿では、スペクトルバイアスを抑制するニューラルネットワークのための、パラメータ効率の良いニューラル表現の強化であるSBSを提案する。
  論文  参考訳（メタデータ） (2025-09-09T03:48:57Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Frequency-adaptive Multi-scale Deep Neural Networks [6.338572283139395]
  高周波関数を近似するための周波数適応型MscaleDNNを提案する。 これらのMscaleDNNは、標準的なMscaleDNNに比べて2～3桁の精度を向上する。
  論文  参考訳（メタデータ） (2024-09-28T14:49:23Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。