論文の概要: On the kernel learning problem
- arxiv url: http://arxiv.org/abs/2502.11665v1
- Date: Mon, 17 Feb 2025 10:54:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:13:52.492518
- Title: On the kernel learning problem
- Title(参考訳): カーネル学習問題について
- Authors: Yang Li, Feng Ruan,
- Abstract要約: カーネルリッジ回帰問題は、入力データである$Xin mathbbRd$の関数として出力$Y$に最適なものを見つけることを目的としている。
我々は、余剰行列パラメータ$U$を導入することにより、カーネルリッジ回帰問題の一般化を考える。
これは自然に$U$の選択を最適化する非線形変分問題につながる。
- 参考スコア(独自算出の注目度): 4.917649865600782
- License:
- Abstract: The classical kernel ridge regression problem aims to find the best fit for the output $Y$ as a function of the input data $X\in \mathbb{R}^d$, with a fixed choice of regularization term imposed by a given choice of a reproducing kernel Hilbert space, such as a Sobolev space. Here we consider a generalization of the kernel ridge regression problem, by introducing an extra matrix parameter $U$, which aims to detect the scale parameters and the feature variables in the data, and thereby improve the efficiency of kernel ridge regression. This naturally leads to a nonlinear variational problem to optimize the choice of $U$. We study various foundational mathematical aspects of this variational problem, and in particular how this behaves in the presence of multiscale structures in the data.
- Abstract(参考訳): 古典的なカーネルリッジ回帰問題は、出力 $Y$ を入力データ $X\in \mathbb{R}^d$ の関数として、ソボレフ空間のような再生されたカーネルヒルベルト空間の任意の選択によって与えられる正規化項の固定的な選択として求めることを目的としている。
本稿では、データ中のスケールパラメータと特徴変数を検出し、カーネルリッジ回帰の効率を向上させるために、余剰行列パラメータ$U$を導入することにより、カーネルリッジ回帰問題の一般化を検討する。
これは自然に$U$の選択を最適化する非線形変分問題につながる。
本稿では,この変分問題の基本的数学的側面,特にデータ中のマルチスケール構造の存在下での挙動について考察する。
関連論文リスト
- Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳(メタデータ) (2024-10-03T17:06:06Z) - A Structure-Preserving Kernel Method for Learning Hamiltonian Systems [3.594638299627404]
構造保存されたカーネルリッジ回帰法は、潜在的に高次元かつ非線形なハミルトン関数の回復を可能にする。
本稿では,勾配の線形関数を含む損失関数が要求される問題に対して,カーネル回帰法を拡張した。
固定正則化パラメータと適応正則化パラメータを用いて収束率を提供する完全誤差解析を行う。
論文 参考訳(メタデータ) (2024-03-15T07:20:21Z) - MOCK: an Algorithm for Learning Nonparametric Differential Equations via Multivariate Occupation Kernel Functions [0.6030884970981525]
d$次元状態空間の軌跡から得られる通常の微分方程式の非パラメトリック系は、$d$変数の$d$関数を学ぶ必要がある。
明示的な定式化はしばしば、スパーシティや対称性といったシステム特性に関する追加の知識が得られない限り、$d$で2次的にスケールする。
本稿では,ベクトル値を持つカーネルヒルベルト空間から得られる暗黙の定式化を用いて,線形アプローチ,多変量占有カーネル法(MOCK)を提案する。
論文 参考訳(メタデータ) (2023-06-16T21:49:36Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - Sobolev Acceleration and Statistical Optimality for Learning Elliptic
Equations via Gradient Descent [11.483919798541393]
本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。
我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
論文 参考訳(メタデータ) (2022-05-15T17:01:53Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳(メタデータ) (2022-03-30T11:39:00Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳(メタデータ) (2021-06-10T18:17:57Z) - Adiabatic Quantum Feature Selection for Sparse Linear Regression [0.17499351967216337]
合成および実世界のデータセット上でQUBOソリューションの品質を定式化し比較する。
その結果, 最適解を求める上で, 提案した断熱量子コンピューティング手法の有効性が示された。
論文 参考訳(メタデータ) (2021-06-04T09:14:01Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳(メタデータ) (2021-05-04T17:31:28Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳(メタデータ) (2020-06-15T08:25:50Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。