論文の概要: Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension

• arxiv url: http://arxiv.org/abs/2405.14630v1
• Date: Thu, 23 May 2024 14:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:35:49.233924
• Title: Bounds for the smallest eigenvalue of the NTK for arbitrary spherical data of arbitrary dimension
• Title（参考訳）: 任意の次元の球面データに対するNTKの最小固有値の境界
• Authors: Kedar Karhadkar, Michael Murray, Guido Montúfar,
• Abstract要約: ニューラル・タンジェント・カーネル(NTK)の最小固有値の境界は、ニューラルネットワークの最適化と記憶の解析において重要な要素である。 我々はヘミスフィア・トランスフォーメーションの新たな応用を通してその結果を証明した。
• 参考スコア（独自算出の注目度）: 20.431551512846248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bounds on the smallest eigenvalue of the neural tangent kernel (NTK) are a key ingredient in the analysis of neural network optimization and memorization. However, existing results require distributional assumptions on the data and are limited to a high-dimensional setting, where the input dimension $d_0$ scales at least logarithmically in the number of samples $n$. In this work we remove both of these requirements and instead provide bounds in terms of a measure of the collinearity of the data: notably these bounds hold with high probability even when $d_0$ is held constant versus $n$. We prove our results through a novel application of the hemisphere transform.
• Abstract（参考訳）: ニューラル・タンジェント・カーネル(NTK)の最小固有値の境界は、ニューラルネットワークの最適化と記憶の解析において重要な要素である。 しかし、既存の結果はデータの分布的な仮定を必要とし、入力次元$d_0$はサンプル数$n$で少なくとも対数的にスケールする高次元の設定に制限される。 この作業では、これらの要件を両方取り除き、データのコリニティの尺度で境界を与える。特に、$d_0$ が定数である場合と$n$ である場合でも、これらの境界は高い確率で保持される。 ヘミスフィア・トランスフォーメーションの新たな応用を通してその結果を実証する。

関連論文リスト

• Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
  本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。 我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。 XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2024-10-13T21:49:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• High-Dimensional Smoothed Entropy Estimation via Dimensionality Reduction [14.53979700025531]
  微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。 絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。 我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
  論文  参考訳（メタデータ） (2023-05-08T13:51:48Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Nystr\"om Kernel Mean Embeddings [92.10208929236826]
  Nystr"om法に基づく効率的な近似手法を提案する。 サブサンプルサイズの条件は標準の$n-1/2$レートを得るのに十分である。 本稿では,この結果の最大誤差と二次規則の近似への応用について論じる。
  論文  参考訳（メタデータ） (2022-01-31T08:26:06Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
  モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。 実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
  論文  参考訳（メタデータ） (2021-06-04T17:52:50Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。