論文の概要: Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
- arxiv url: http://arxiv.org/abs/2006.01073v2
- Date: Tue, 24 Nov 2020 19:18:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 06:39:18.454079
- Title: Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
- Title(参考訳): 再生核クレイン空間における正則化最小二乗の解析
- Authors: Fanghui Liu, Lei Shi, Xiaolin Huang, Jie Yang and Johan A.K. Suykens
- Abstract要約: カーネル・クライン空間における不定核を持つ正則化最小二乗の性質について検討する。
我々は、カーネル・クライン空間において、カーネル・ヒルベルト空間と同一の学習率を導出する。
- 参考スコア(独自算出の注目度): 35.091152823482105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the asymptotic properties of regularized least
squares with indefinite kernels in reproducing kernel Krein spaces (RKKS). By
introducing a bounded hyper-sphere constraint to such non-convex regularized
risk minimization problem, we theoretically demonstrate that this problem has a
globally optimal solution with a closed form on the sphere, which makes
approximation analysis feasible in RKKS. Regarding to the original regularizer
induced by the indefinite inner product, we modify traditional error
decomposition techniques, prove convergence results for the introduced
hypothesis error based on matrix perturbation theory, and derive learning rates
of such regularized regression problem in RKKS. Under some conditions, the
derived learning rates in RKKS are the same as that in reproducing kernel
Hilbert spaces (RKHS), which is actually the first work on approximation
analysis of regularized learning algorithms in RKKS.
- Abstract(参考訳): 本稿では、再生カーネルKrein空間(RKKS)における不定核を持つ正規化最小二乗の漸近特性について検討する。
このような非凸正規化リスク最小化問題に対して有界超球面制約を導入することにより、この問題が球面上の閉形式を持つ大域的最適解を持ち、RKKSで近似解析が実現可能であることを理論的に証明する。
非定値内積によって引き起こされる元の正規化子について、従来の誤差分解法を変更し、行列摂動理論に基づく導入された仮説誤差の収束結果を証明し、rkkにおけるそのような正規化回帰問題の学習率を導出する。
ある条件下では、RKKSの派生学習率は、RKKSにおける正規化学習アルゴリズムの近似解析に関する最初の研究であるカーネルヒルベルト空間(RKHS)の再現と同じである。
関連論文リスト
- Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。
初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
論文 参考訳(メタデータ) (2024-06-03T15:28:12Z) - Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。
また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
論文 参考訳(メタデータ) (2024-02-02T10:36:53Z) - Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation [12.455342327482223]
臨界点の観点から収束正則化の一般化された定式化を提案する。
これは弱凸正規化器のクラスによって達成されることを示す。
この理論を正規化学習に適用し、入力の弱い凸ニューラルネットワークに対する普遍的な近似を証明した。
論文 参考訳(メタデータ) (2024-02-01T22:54:45Z) - A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge
Regression [23.156642467474995]
有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。
我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。
我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
論文 参考訳(メタデータ) (2023-10-02T08:52:29Z) - Sampling Error Analysis in Quantum Krylov Subspace Diagonalization [1.3108652488669736]
本稿では,サンプリングノイズと固有値に対する効果の関係を評価するための漸近的理論フレームワークを提案する。
また,不条件ベースを排除し,大規模条件数に対処する最適解を提案する。
論文 参考訳(メタデータ) (2023-07-30T17:22:35Z) - On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。
私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文 参考訳(メタデータ) (2023-07-14T13:56:11Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳(メタデータ) (2023-06-29T01:20:44Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳(メタデータ) (2021-12-29T18:46:52Z) - Beyond Tikhonov: Faster Learning with Self-Concordant Losses via
Iterative Regularization [120.31448970413298]
我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。
反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:25:41Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。