論文の概要: Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics

• arxiv url: http://arxiv.org/abs/2301.05816v3
• Date: Tue, 18 Apr 2023 23:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 17:19:03.487413
• Title: Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics
• Title（参考訳）: トレーニングダイナミクスによる座標系mlpのスペクトルバイアスの理解
• Authors: John Lazzari, Xiuwen Liu
• Abstract要約: シーンレンダリングへの応用では、ReLUアクティベーションを持つ多層パーセプトロン(MLP)が高密度で低次元の座標ベースの入力を利用する場合、厳しいスペクトルバイアスが発生する。 これらのダイナミクスを信号の空間情報と関連づけて検討し、スペクトルバイアスにどのように影響するかをより明確に理解する。
• 参考スコア（独自算出の注目度）: 2.9443230571766854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral bias is an important observation of neural network training, stating that the network will learn a low frequency representation of the target function before converging to higher frequency components. This property is interesting due to its link to good generalization in over-parameterized networks. However, in applications to scene rendering, where multi-layer perceptrons (MLPs) with ReLU activations utilize dense, low dimensional coordinate based inputs, a severe spectral bias occurs that obstructs convergence to high freqeuncy components entirely. In order to overcome this limitation, one can encode the inputs using high frequency sinusoids. Previous works attempted to explain both spectral bias and its severity in the coordinate based regime using Neural Tangent Kernel (NTK) and Fourier analysis. However, such methods come with various limitations, since NTK does not capture real network dynamics, and Fourier analysis only offers a global perspective on the frequency components of the network. In this paper, we provide a novel approach towards understanding spectral bias by directly studying ReLU MLP training dynamics, in order to gain further insight on the properties that induce this behavior in the real network. Specifically, we focus on the connection between the computations of ReLU networks (activation regions), and the convergence of gradient descent. We study these dynamics in relation to the spatial information of the signal to provide a clearer understanding as to how they influence spectral bias, which has yet to be demonstrated. Additionally, we use this formulation to further study the severity of spectral bias in the coordinate based setting, and why positional encoding overcomes this.
• Abstract（参考訳）: スペクトルバイアスはニューラルネットワークトレーニングの重要な観察であり、ネットワークは高い周波数成分に収束する前にターゲット関数の低周波数表現を学習すると述べている。 この性質は、過パラメータネットワークのよい一般化につながるため興味深い。 しかし、reluアクティベーションを持つ多層パーセプトロン(mlps)が高密度で低次元の座標に基づく入力を利用するシーンレンダリングのアプリケーションでは、高いフレクエンシー成分への収束を完全に阻害する深刻なスペクトルバイアスが発生する。 この制限を克服するために、高周波正弦波を用いて入力を符号化することができる。 従来の研究は、ニューラル・タンジェント・カーネル(NTK)とフーリエ分析を用いて、座標系におけるスペクトルバイアスとその重症度の両方を解析しようとした。 しかし、ntkは実際のネットワークダイナミクスを捉えておらず、フーリエ解析はネットワークの周波数成分に関する全体的視点のみを提供するため、このような手法には様々な制限がある。 本稿では,ReLU MLPトレーニングのダイナミクスを直接研究することで,スペクトルバイアスの理解に向けた新しいアプローチを提案する。 具体的には,reluネットワーク(アクティベーション領域)の計算と勾配降下の収束との関係に注目した。 これらのダイナミクスを信号の空間情報と関連づけて検討し、スペクトルバイアスにどのように影響するかをより明確に理解し、まだ実証されていない。 さらに、この定式化を用いて、座標に基づく設定におけるスペクトルバイアスの重大さと位置符号化がこれを克服する理由についてさらに検討する。

関連論文リスト

• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
  ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:59:57Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks [78.64167379726163]
  本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。 複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
  論文  参考訳（メタデータ） (2021-12-07T03:25:25Z)
• Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis [6.0158981171030685]
  本稿では,ディープニューラルネットワークの層次スペクトルバイアスを解析し,対象関数に対する誤差の低減における異なる層の寄与と関係付ける。 我々は、ディープニューラルネットワークのための高次元データセットにおいて、我々の理論を検証する実験結果を提供する。
  論文  参考訳（メタデータ） (2021-11-06T22:49:46Z)
• Spectral Bias in Practice: The Role of Function Frequency in Generalization [10.7218588164913]
  現代の画像分類網におけるスペクトルバイアスを測定する手法を提案する。 一般化するネットワークは、データの適合に十分な複雑さを持つと同時に、過度な適合を避けるのに十分な単純さとバランスをとっています。 我々の研究は、画像分類に使用されるニューラルネットワークのスペクトル挙動の測定と制御を可能にする。
  論文  参考訳（メタデータ） (2021-10-06T00:16:10Z)
• Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains [69.62456877209304]
  単純なフーリエ特徴写像を通して入力点を渡すことで、多層パーセプトロンが高周波関数を学習できることを示す。 結果は、最先端の結果を達成するコンピュータビジョンとグラフィックの進歩に光を当てた。
  論文  参考訳（メタデータ） (2020-06-18T17:59:11Z)
• Frequency Bias in Neural Networks for Input of Non-Uniform Density [27.75835200173761]
  ニューラル・タンジェント・カーネル(NTK)モデルを用いて、変動密度がトレーニング力学に与える影響を探索する。 我々の結果は、Sphered-1$ の点 $x における収束は、時間 $O(kappad/p(x))$ ここで、$p(x)$ は局所密度$x$ を表す。
  論文  参考訳（メタデータ） (2020-03-10T07:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。