論文の概要: A Gap Between the Gaussian RKHS and Neural Networks: An Infinite-Center Asymptotic Analysis

• arxiv url: http://arxiv.org/abs/2502.16331v1
• Date: Sat, 22 Feb 2025 19:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:32.819368
• Title: A Gap Between the Gaussian RKHS and Neural Networks: An Infinite-Center Asymptotic Analysis
• Title（参考訳）: ガウスRKHSとニューラルネットワークのギャップ:無限中心漸近解析
• Authors: Akash Kumar, Rahul Parhi, Mikhail Belkin,
• Abstract要約: ガウス RKHS に属するある種の関数は、ニューラルネットワークバナッハ空間において無限ノルムを持つことを示す。 これにより、カーネルメソッドとニューラルネットワークの間に非自明なギャップが生まれる。
• 参考スコア（独自算出の注目度）: 18.454085925930073
• License:
• Abstract: Recent works have characterized the function-space inductive bias of infinite-width bounded-norm single-hidden-layer neural networks as a kind of bounded-variation-type space. This novel neural network Banach space encompasses many classical multivariate function spaces including certain Sobolev spaces and the spectral Barron spaces. Notably, this Banach space also includes functions that exhibit less classical regularity such as those that only vary in a few directions. On bounded domains, it is well-established that the Gaussian reproducing kernel Hilbert space (RKHS) strictly embeds into this Banach space, demonstrating a clear gap between the Gaussian RKHS and the neural network Banach space. It turns out that when investigating these spaces on unbounded domains, e.g., all of $\mathbb{R}^d$, the story is fundamentally different. We establish the following fundamental result: Certain functions that lie in the Gaussian RKHS have infinite norm in the neural network Banach space. This provides a nontrivial gap between kernel methods and neural networks by the exhibition of functions in which kernel methods can do strictly better than neural networks.
• Abstract（参考訳）: 近年の研究では、無限幅有界単層ニューラルネットワークの関数空間誘導バイアスを、有界偏差型空間の一種として特徴付けている。 この新しいニューラルネットワークバナッハ空間は、ソボレフ空間やスペクトルバロン空間を含む多くの古典的多変量関数空間を含んでいる。 特に、このバナッハ空間は、いくつかの方向だけ異なるような古典的正則性の低い函数も含む。 有界領域上では、ガウス再生核ヒルベルト空間(RKHS)がこのバナッハ空間に厳密に埋め込まれ、ガウス RKHS とニューラルネットワークバナッハ空間との明確なギャップが示される。 その結果、非有界領域上のこれらの空間、例えば$\mathbb{R}^d$ について調べるとき、その話は根本的に異なることがわかった。 ガウス RKHS に属するある種の関数は、ニューラルネットワークバナッハ空間において無限ノルムを持つ。 このことは、カーネルメソッドがニューラルネットワークよりも厳密に動作する関数の展示によって、カーネルメソッドとニューラルネットワークの間の非自明なギャップを提供する。

関連論文リスト

• Neural reproducing kernel Banach spaces and representer theorems for deep networks [16.279502878600184]
  ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。 応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
  論文  参考訳（メタデータ） (2024-03-13T17:51:02Z)
• Space-Time Approximation with Shallow Neural Networks in Fourier Lebesgue spaces [1.74048653626208]
  ボヒナー・ソボレフ空間における異方性重み付きフーリエ・ルベーグ空間の包含について検討する。 異方性重み付きフーリエ・ルベーグ空間からの関数の近似率とボヒナー・ソボレフノルムのSNNによる近似の有界性を確立する。
  論文  参考訳（メタデータ） (2023-12-13T19:02:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Tangent Bundle Filters and Neural Networks: from Manifolds to Cellular Sheaves and Back [114.01902073621577]
  畳み込みを用いて、タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。 我々は、TNNを時間領域と空間領域の両方で識別し、その離散性は、最近導入されたSheaf Neural Networksの原則的な変種であることを示す。 単体2次元球面上の接ベクトル場の復調作業における提案手法の有効性を数値的に評価する。
  論文  参考訳（メタデータ） (2022-10-26T21:55:45Z)
• Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
  パーコレーション遷移は無限クラスターの出現によって定義される。 ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。 コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
  論文  参考訳（メタデータ） (2022-10-15T13:53:21Z)
• Algebraic function based Banach space valued ordinary and fractional neural network approximations [0.0]
  近似はポイントワイドで一様ノルムです 関連するバナッハ空間値フィードフォワードニューラルネットワークは、1つの隠蔽層を持つ。
  論文  参考訳（メタデータ） (2022-02-11T20:08:52Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)
• Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels [8.160343645537106]
  与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。 再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:40:38Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。