Fugu-MT 論文翻訳(概要): Random feature approximation for general spectral methods

論文の概要: Random feature approximation for general spectral methods

arxiv url: http://arxiv.org/abs/2308.15434v1
Date: Tue, 29 Aug 2023 16:56:03 GMT
ステータス: 処理完了
システム内更新日: 2023-08-30 13:13:10.684135
Title: Random feature approximation for general spectral methods
Title（参考訳）: 一般スペクトル法によるランダム特徴近似
Authors: Mike Nguyen and Nicole M\"ucke
Abstract要約: スペクトル正規化法とランダムな特徴を組み合わせた多種多様なスペクトル正規化手法の一般化特性を解析する。推定器は勾配正則性クラスよりも最適な学習率が得られる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Random feature approximation is arguably one of the most popular techniques to speed up kernel methods in large scale algorithms and provides a theoretical approach to the analysis of deep neural networks. We analyze generalization properties for a large class of spectral regularization methods combined with random features, containing kernel methods with implicit regularization such as gradient descent or explicit methods like Tikhonov regularization. For our estimators we obtain optimal learning rates over regularity classes (even for classes that are not included in the reproducing kernel Hilbert space), which are defined through appropriate source conditions. This improves or completes previous results obtained in related settings for specific kernel algorithms.
Abstract（参考訳）: ランダム特徴近似は、大規模アルゴリズムのカーネルメソッドを高速化する最も一般的な手法の1つであり、ディープニューラルネットワークの解析に理論的アプローチを提供する。勾配降下などの暗黙的正則化やチホノフ正則化のような明示的手法を含む、ランダム特徴と組み合わされた多数のスペクトル正則化法の一般化特性を解析した。我々の推定器は、適切なソース条件によって定義される正則性クラス(再生カーネルヒルベルト空間に含まれないクラスに対しても)よりも最適な学習率を得る。これにより、特定のカーネルアルゴリズムに関連する設定で得られた前の結果を改善または完成する。

関連論文リスト

Kernel Descent -- a Novel Optimizer for Variational Quantum Algorithms [0.0]
変動量子アルゴリズムの基礎となる関数を最小化するための新しいアルゴリズムであるカーネル降下を導入する。特に、カーネル降下が勾配降下と量子解析降下より優れるシナリオを示す。カーネル降下は、局所近似の構築において、再生されたカーネルヒルベルト空間技術(英語版)を使わずに、自身を分離する。
論文参考訳（メタデータ） (2024-09-16T13:10:26Z)
Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
論文参考訳（メタデータ） (2024-01-03T08:00:50Z)
On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文参考訳（メタデータ） (2023-07-14T13:56:11Z)
The Galerkin method beats Graph-Based Approaches for Spectral Algorithms [3.5897534810405403]
我々は機械学習コミュニティを破り、Galerkin手法の統計的および計算的優位性を証明した。構造化カーネルを用いて大次元の微分演算子を扱うための実装手法を導入する。私たちは、ディープニューラルネットワークによってパラメータ化された関数など、関数の非線形空間に適用するために、私たちのアプローチ以外のコア原則を拡張します。
論文参考訳（メタデータ） (2023-06-01T14:38:54Z)
Approximation by non-symmetric networks for cross-domain learning [0.0]
非対称カーネルを用いたカーネルネットワークの近似能力について検討する。我々は、$r$が必ずしも整数ではないとき、ReLU$r$ネットワークにより、ソボレフクラスの関数の均一近似の精度の推定値を得る。
論文参考訳（メタデータ） (2023-05-06T01:33:26Z)
Hybrid Random Features [60.116392415715275]
ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
論文参考訳（メタデータ） (2021-10-08T20:22:59Z)
Spectrum Gaussian Processes Based On Tunable Basis Functions [15.088239458693003]
ガウス過程におけるカーネル関数を近似するために, チューナブル, 局所, 有界な新しい基底関数を導入する。オープンソースデータセットに関する広範な実験を行い、その性能を実証する。
論文参考訳（メタデータ） (2021-07-14T03:51:24Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文参考訳（メタデータ） (2021-06-10T17:54:21Z)
Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文参考訳（メタデータ） (2020-07-21T17:42:58Z)
Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。