論文の概要: Towards the Spectral bias Alleviation by Normalizations in Coordinate Networks

• arxiv url: http://arxiv.org/abs/2407.17834v1
• Date: Thu, 25 Jul 2024 07:45:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 14:57:53.994170
• Title: Towards the Spectral bias Alleviation by Normalizations in Coordinate Networks
• Title（参考訳）: コーディネートネットワークにおける正規化によるスペクトルバイアス緩和に向けて
• Authors: Zhicheng Cai, Hao Zhu, Qiu Shen, Xinran Wang, Xun Cao,
• Abstract要約: 近年,座標ネットワークを用いた信号表現が逆問題領域を支配している。 座標ネットワークにはスペクトルバイアスの問題があり、高周波成分の学習能力を制限している。 その結果, この病理分布は古典的正規化法を用いて改善できることがわかった。
• 参考スコア（独自算出の注目度）: 20.135740969953723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representing signals using coordinate networks dominates the area of inverse problems recently, and is widely applied in various scientific computing tasks. Still, there exists an issue of spectral bias in coordinate networks, limiting the capacity to learn high-frequency components. This problem is caused by the pathological distribution of the neural tangent kernel's (NTK's) eigenvalues of coordinate networks. We find that, this pathological distribution could be improved using classical normalization techniques (batch normalization and layer normalization), which are commonly used in convolutional neural networks but rarely used in coordinate networks. We prove that normalization techniques greatly reduces the maximum and variance of NTK's eigenvalues while slightly modifies the mean value, considering the max eigenvalue is much larger than the most, this variance change results in a shift of eigenvalues' distribution from a lower one to a higher one, therefore the spectral bias could be alleviated. Furthermore, we propose two new normalization techniques by combining these two techniques in different ways. The efficacy of these normalization techniques is substantiated by the significant improvements and new state-of-the-arts achieved by applying normalization-based coordinate networks to various tasks, including the image compression, computed tomography reconstruction, shape representation, magnetic resonance imaging, novel view synthesis and multi-view stereo reconstruction.
• Abstract（参考訳）: 座標ネットワークを用いた信号の表現は近年逆問題領域を支配しており、様々な科学計算タスクに広く応用されている。 それでも、座標ネットワークにはスペクトルバイアスの問題があり、高周波成分の学習能力が制限されている。 この問題は、座標ネットワークの神経タンジェントカーネル(NTK)固有値の病理分布によって引き起こされる。 この病理分布は古典的正規化法(バッチ正規化法と層正規化法)を用いて改善できるが、畳み込みニューラルネットワークではよく用いられるが、座標ネットワークではめったに使われない。 正規化手法がNTKの固有値の最大値と分散値を著しく低減すると同時に,最大値の最大値が最大値よりもはるかに大きいことを考えると,この分散変化は固有値の分布を下位値から上位値にシフトさせる結果となり,スペクトルバイアスを緩和できることを示した。 さらに,これら2つの手法を異なる方法で組み合わせた2つの新しい正規化手法を提案する。 これらの正規化技術の有効性は、画像圧縮、CT再構成、形状表現、磁気共鳴イメージング、新しいビュー合成、マルチビューステレオ再構成など、様々なタスクに正規化ベースの座標ネットワークを適用することで達成された、大幅な改善と新しい最先端技術によって実証される。

関連論文リスト

• Weight Conditioning for Smooth Optimization of Neural Networks [28.243353447978837]
  本稿では,ニューラルネットワークの重み行列に対する新しい正規化手法を提案する。 このアプローチは、ウェイト行列の最小値と最大の特異値の間のギャップを狭くすることを目的としており、より良い条件付き行列をもたらす。 以上の結果から,本手法は競争力だけでなく,文献の既往の重み正規化手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-09-05T11:10:34Z)
• Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks [27.29463801531576]
  本稿では,正規直交深部線形ニューラルネットワークの学習のための収束解析について述べる。 その結果、隠れた層の増加が収束速度にどのように影響するかが明らかになった。
  論文  参考訳（メタデータ） (2023-11-24T18:46:54Z)
• Normalization-Equivariant Neural Networks with Application to Image Denoising [3.591122855617648]
  本稿では,ニューラルネットの正規化-等分散が設計によって成り立つように適応する手法を提案する。 私たちの主張は、通常の畳み込み層だけでなく、すべての活性化関数も、ニューラルネットワークから完全に取り除くべきだということです。 画像復号化実験の結果、正規化等価ニューラルネットワークは、条件付けの改善に加えて、ノイズレベルをまたいだより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-06-08T08:42:08Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
  ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。 我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
  論文  参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。