論文の概要: Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators

• arxiv url: http://arxiv.org/abs/2503.11029v1
• Date: Fri, 14 Mar 2025 02:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:28.966695
• Title: Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators
• Title（参考訳）: 微分演算子による損失を有するニューラルネットワークのニューラルタンジェントカーネル
• Authors: Weiye Gan, Yicheng Li, Qian Lin, Zuoqiang Shi,
• Abstract要約: 我々は物理インフォームド・ロスを持つディープニューラルネットワークのNTK理論を開発した。 ほとんどの場合、損失関数の微分作用素はより高速な固有値減衰率と強いスペクトルバイアスを誘導しない。
• 参考スコア（独自算出の注目度）: 13.803850290216257
• License:
• Abstract: Spectral bias is a significant phenomenon in neural network training and can be explained by neural tangent kernel (NTK) theory. In this work, we develop the NTK theory for deep neural networks with physics-informed loss, providing insights into the convergence of NTK during initialization and training, and revealing its explicit structure. We find that, in most cases, the differential operators in the loss function do not induce a faster eigenvalue decay rate and stronger spectral bias. Some experimental results are also presented to verify the theory.
• Abstract（参考訳）: スペクトルバイアスはニューラルネットワークトレーニングにおいて重要な現象であり、ニューラル・タンジェント・カーネル(NTK)理論によって説明できる。 本研究では,物理インフォームド・ロスを伴うディープニューラルネットワークのNTK理論を開発し,初期化とトレーニングにおけるNTKの収束に関する洞察を提供し,その明示的な構造を明らかにする。 ほとんどの場合、損失関数の微分作用素はより高速な固有値減衰率と強いスペクトルバイアスを誘導しない。 理論を検証するためにいくつかの実験結果も提示されている。

関連論文リスト

• Issues with Neural Tangent Kernel Approach to Neural Networks [13.710104651002869]
  我々はNTKの導出を再検討し、この等価定理を評価するために数値実験を行う。 ニューラルネットワークとそれに対応する更新NTKにレイヤーを追加すると、予測器エラーの一致した変化が得られないことを観察する。 これらの観察から、同値定理は実際にはうまく機能せず、ニューラルネットワークのトレーニングプロセスに適切に対処するかどうか疑問が呈される。
  論文  参考訳（メタデータ） (2025-01-19T03:21:06Z)
• Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories [13.949362600389088]
  ニューラルネットワークの主な利点は、その特徴学習特性にある。 本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。
  論文  参考訳（メタデータ） (2024-12-25T03:03:58Z)
• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Analyzing Finite Neural Networks: Can We Trust Neural Tangent Kernel Theory? [2.0711789781518752]
  ニューラルカーネル(NTK)理論は、勾配勾配下での無限大深層ニューラルネットワーク(DNN)の力学の研究に広く用いられている。 NTK理論が実用的に完全に連結されたReLUおよびシグモイドDNNに対して有効である場合の実証的研究を行う。 特にNTK理論は、十分に深いネットワークの挙動を説明しておらず、それらの勾配がネットワークの層を伝搬するにつれて爆発する。
  論文  参考訳（メタデータ） (2020-12-08T15:19:45Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。