論文の概要: Random feature approximation for general spectral methods

• arxiv url: http://arxiv.org/abs/2506.16283v1
• Date: Thu, 19 Jun 2025 13:00:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.074511
• Title: Random feature approximation for general spectral methods
• Title（参考訳）: 一般分光法におけるランダム特徴近似
• Authors: Mike Nguyen, Nicole Mücke,
• Abstract要約: この研究は、Tikhonov正則化の以前の結果をスペクトル正則化技術の幅広いクラスに拡張した。 我々は,ニューラルタンジェントカーネル(NTK)アプローチのレンズを用いて,ニューラルネットワークとニューラル演算子の理論的解析を可能にする。
• 参考スコア（独自算出の注目度）: 2.9388890036358104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random feature approximation is arguably one of the most widely used techniques for kernel methods in large-scale learning algorithms. In this work, we analyze the generalization properties of random feature methods, extending previous results for Tikhonov regularization to a broad class of spectral regularization techniques. This includes not only explicit methods but also implicit schemes such as gradient descent and accelerated algorithms like the Heavy-Ball and Nesterov method. Through this framework, we enable a theoretical analysis of neural networks and neural operators through the lens of the Neural Tangent Kernel (NTK) approach trained via gradient descent. For our estimators we obtain optimal learning rates over regularity classes (even for classes that are not included in the reproducing kernel Hilbert space), which are defined through appropriate source conditions. This improves or completes previous results obtained in related settings for specific kernel algorithms.
• Abstract（参考訳）: ランダム特徴近似は、大規模学習アルゴリズムにおいて最も広く使われているカーネル手法の1つである。 本研究では,Tikhonov正則化の前の結果をスペクトル正則化手法の幅広いクラスに拡張して,ランダム特徴法の一般化特性を解析する。 これには、明示的なメソッドだけでなく、勾配降下やヘビーボール法やネステロフ法のような加速アルゴリズムのような暗黙的なスキームも含まれている。 この枠組みにより、勾配降下により訓練されたニューラルタンジェントカーネル(NTK)アプローチのレンズを通して、ニューラルネットワークとニューラル演算子の理論的解析を可能にする。 我々の推定器は、適切なソース条件によって定義される正則性クラス(再生カーネルヒルベルト空間に含まれないクラスに対しても)よりも最適な学習率を得る。 これにより、特定のカーネルアルゴリズムに関連する設定で得られた前の結果を改善または完成する。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
  本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。 ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-03T08:00:50Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Random feature approximation for general spectral methods [0.0]
  スペクトル正規化法とランダムな特徴を組み合わせた多種多様なスペクトル正規化手法の一般化特性を解析する。 推定器は勾配正則性クラスよりも最適な学習率が得られる。
  論文  参考訳（メタデータ） (2023-08-29T16:56:03Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• The Galerkin method beats Graph-Based Approaches for Spectral Algorithms [3.5897534810405403]
  我々は機械学習コミュニティを破り、Galerkin手法の統計的および計算的優位性を証明した。 構造化カーネルを用いて大次元の微分演算子を扱うための実装手法を導入する。 私たちは、ディープニューラルネットワークによってパラメータ化された関数など、関数の非線形空間に適用するために、私たちのアプローチ以外のコア原則を拡張します。
  論文  参考訳（メタデータ） (2023-06-01T14:38:54Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。