論文の概要: Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories

• arxiv url: http://arxiv.org/abs/2412.18756v1
• Date: Wed, 25 Dec 2024 03:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 21:44:04.926025
• Title: Towards a Statistical Understanding of Neural Networks: Beyond the Neural Tangent Kernel Theories
• Title（参考訳）: ニューラルネットワークの統計的理解に向けて--ニューラル・タンジェント・カーネル理論を超えて
• Authors: Haobo Zhang, Jianfa Lai, Yicheng Li, Qian Lin, Jun S. Liu,
• Abstract要約: ニューラルネットワークの主な利点は、その特徴学習特性にある。 本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。
• 参考スコア（独自算出の注目度）: 13.949362600389088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A primary advantage of neural networks lies in their feature learning characteristics, which is challenging to theoretically analyze due to the complexity of their training dynamics. We propose a new paradigm for studying feature learning and the resulting benefits in generalizability. After reviewing the neural tangent kernel (NTK) theory and recent results in kernel regression, which address the generalization issue of sufficiently wide neural networks, we examine limitations and implications of the fixed kernel theory (as the NTK theory) and review recent theoretical advancements in feature learning. Moving beyond the fixed kernel/feature theory, we consider neural networks as adaptive feature models. Finally, we propose an over-parameterized Gaussian sequence model as a prototype model to study the feature learning characteristics of neural networks.
• Abstract（参考訳）: ニューラルネットワークの主な利点は、その特徴的学習特性にある。 本稿では,特徴学習のための新しいパラダイムを提案し,その結果の一般化可能性について考察する。 ニューラルネットワークの一般化問題に対処するニューラル・タンジェント・カーネル(NTK)理論と最近のカーネル回帰の結果をレビューした後、固定されたカーネル理論(NTK理論)の限界と含意について検討し、最近の特徴学習の理論的進歩について考察する。 固定カーネル/機能理論を超えて、ニューラルネットワークを適応的特徴モデルとみなす。 最後に、ニューラルネットワークの特徴学習特性を研究するためのプロトタイプモデルとして、過パラメータ化ガウス列モデルを提案する。

関連論文リスト

• Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators [13.803850290216257]
  我々は物理インフォームド・ロスを持つディープニューラルネットワークのNTK理論を開発した。 ほとんどの場合、損失関数の微分作用素はより高速な固有値減衰率と強いスペクトルバイアスを誘導しない。
  論文  参考訳（メタデータ） (2025-03-14T02:55:13Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
  本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。 ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。 ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
  論文  参考訳（メタデータ） (2024-01-14T02:30:19Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks [1.6519302768772166]
  テストリスクとカーネルリッジ回帰の他の一般化指標について、簡単なクローズドフォーム推定を導出する。 関数の正規直交基底を学習するKRRの能力を制限するシャープな保存法則を同定する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:07Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。