論文の概要: Function Spaces Without Kernels: Learning Compact Hilbert Space Representations

• arxiv url: http://arxiv.org/abs/2509.20605v1
• Date: Wed, 24 Sep 2025 22:55:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.615629
• Title: Function Spaces Without Kernels: Learning Compact Hilbert Space Representations
• Title（参考訳）: カーネルのない関数空間:コンパクトなヒルベルト空間表現を学ぶ
• Authors: Su Ann Low, Quentin Rommel, Kevin S. Miller, Adam J. Thorpe, Ufuk Topcu,
• Abstract要約: 本稿では,関数エンコーダが特徴学習とカーネル手法との原則的接続を提供することを示す。 コンパクトなベースを学習する2つのトレーニングアルゴリズムを開発した。 この研究は、カーネルレベルの保証を持つ神経予測器への道を示唆している。
• 参考スコア（独自算出の注目度）: 17.20282687120807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Function encoders are a recent technique that learn neural network basis functions to form compact, adaptive representations of Hilbert spaces of functions. We show that function encoders provide a principled connection to feature learning and kernel methods by defining a kernel through an inner product of the learned feature map. This kernel-theoretic perspective explains their ability to scale independently of dataset size while adapting to the intrinsic structure of data, and it enables kernel-style analysis of neural models. Building on this foundation, we develop two training algorithms that learn compact bases: a progressive training approach that constructively grows bases, and a train-then-prune approach that offers a computationally efficient alternative after training. Both approaches use principles from PCA to reveal the intrinsic dimension of the learned space. In parallel, we derive finite-sample generalization bounds using Rademacher complexity and PAC-Bayes techniques, providing inference time guarantees. We validate our approach on a polynomial benchmark with a known intrinsic dimension, and on nonlinear dynamical systems including a Van der Pol oscillator and a two-body orbital model, demonstrating that the same accuracy can be achieved with substantially fewer basis functions. This work suggests a path toward neural predictors with kernel-level guarantees, enabling adaptable models that are both efficient and principled at scale.
• Abstract（参考訳）: 関数エンコーダは、関数のヒルベルト空間のコンパクトで適応的な表現を形成するためにニューラルネットワーク基底関数を学習する最近の技術である。 関数エンコーダは、学習した特徴マップの内部積を通じてカーネルを定義することにより、特徴学習とカーネルメソッドとの原則的な接続を提供することを示す。 このカーネル理論的な観点は、データ固有の構造に適応しながらデータセットサイズとは独立してスケールする能力を説明し、ニューラルネットワークのカーネルスタイルの分析を可能にする。 この基礎の上に構築され、コンパクトなベースを学習する2つの訓練アルゴリズムを開発する。 どちらのアプローチも、学習空間の本質的な次元を明らかにするために、PCAの原理を用いる。 並列に、Rademacher複雑性とPAC-Bayes技術を用いて有限サンプル一般化境界を導出し、推論時間を保証する。 本稿では,固有次元の多項式ベンチマークと,Van der Pol発振器と2体軌道モデルを含む非線形力学系に対するアプローチを検証する。 この研究は、カーネルレベルの保証を持つ神経予測器への道を示唆し、効率的かつ原理的かつ大規模に適応可能なモデルを可能にする。

関連論文リスト

• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Minimax Optimal Kernel Operator Learning via Multilevel Training [11.36492861074981]
  2つの無限次元ソボレフ再生核ヒルベルト空間間のヒルベルト・シュミット作用素の学習の統計的極限について検討する。 無限次元関数空間間の線形作用素を学習する際に最適なマルチレベルカーネル演算子学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-28T21:31:43Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Domain Adaptive Learning Based on Sample-Dependent and Learnable Kernels [2.1485350418225244]
  本稿では,SDLK-DAL(Sample-Dependent and Learnable Kernels)に基づくドメイン適応学習手法を提案する。 我々の研究の最初の貢献は、サンプルに依存して学習可能な正定定値カーネル関数(PDQK)フレームワークを提案することである。 PDQKによって決定されたRKHSがいくつかの最先端のDALアルゴリズムに取って代わる一連の実験を行い、我々のアプローチはより良いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-18T13:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。