論文の概要: A Special Case of Quadratic Extrapolation Under the Neural Tangent Kernel

• arxiv url: http://arxiv.org/abs/2512.15749v1
• Date: Thu, 11 Dec 2025 00:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.657377
• Title: A Special Case of Quadratic Extrapolation Under the Neural Tangent Kernel
• Title（参考訳）: 神経タンタンタンタンタンネル下四面体外挿術の1例
• Authors: Abiel Kim,
• Abstract要約: ReLUは分布外評価点を線形に外挿する傾向があることが示されている。 NTK体制下での起源における外挿の分析は、まだ解明されていない特別な事例である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has been demonstrated both theoretically and empirically that the ReLU MLP tends to extrapolate linearly for an out-of-distribution evaluation point. The machine learning literature provides ample analysis with respect to the mechanisms to which linearity is induced. However, the analysis of extrapolation at the origin under the NTK regime remains a more unexplored special case. In particular, the infinite-dimensional feature map induced by the neural tangent kernel is not translationally invariant. This means that the study of an out-of-distribution evaluation point very far from the origin is not equivalent to the evaluation of a point very near the origin. And since the feature map is rotation invariant, these two special cases may represent the most canonically extreme bounds of ReLU NTK extrapolation. Ultimately, it is this loose recognition of the two special cases of extrapolation that motivate the discovery of quadratic extrapolation for an evaluation close to the origin.
• Abstract（参考訳）: 理論的にも経験的にも、ReLU MLPはアウト・オブ・ディストリビューション評価点に対して線形に外挿する傾向があることが示されている。 機械学習文献は、線形性が誘導されるメカニズムに関する十分な分析を提供する。 しかし、NTK体制下での起源における外挿の分析は、まだ解明されていない特別な事例である。 特に、神経接核によって誘導される無限次元の特徴写像は変換不変ではない。 これは、原点から遠く離れた分布外評価点の研究は、原点に非常に近い点の評価と等価ではないことを意味する。 また、特徴写像は回転不変であるため、これら2つの特別なケースはReLU NTK外挿の最も極端な境界を表す可能性がある。 最終的に、この2つの特別な外挿のケースを緩やかに認識し、原点に近い評価のために二次外挿の発見を動機付けている。

関連論文リスト

• BrowNNe: Brownian Nonlocal Neurons & Activation Functions [0.0]
  低トレーニングデータにおけるブラウンニューラルアクティベーション関数がReLUに勝っていることを示す。 本実験は,低トレーニングデータにおけるブラウン神経活性化機能の優れた機能を示す。
  論文  参考訳（メタデータ） (2024-06-21T19:40:30Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• On the Universality of the Double Descent Peak in Ridgeless Regression [0.0]
  リッジレス線形回帰におけるラベルノイズに起因する平均2乗誤差の非漸近分布非依存的下界を証明した。 我々の下界は、過大化(補間)体制と同じような既知の結果を一般化する。
  論文  参考訳（メタデータ） (2020-10-05T08:30:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。