論文の概要: Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
- arxiv url: http://arxiv.org/abs/2312.07186v5
- Date: Tue, 6 Aug 2024 13:47:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:31:50.229788
- Title: Towards Optimal Sobolev Norm Rates for the Vector-Valued Regularized Least-Squares Algorithm
- Title（参考訳）: ベクトル値正規化最小二乗アルゴリズムにおけるソボレフノルム率の最適化に向けて
- Authors: Zhu Li, Dimitri Meunier, Mattes Mollenhauer, Arthur Gretton,
- Abstract要約: 無限次元ベクトル値リッジ回帰の最初の最適速度を、$L$と仮説空間の間を補間するノルムの連続スケールに提示する。
これらの値は、ほとんどの場合最適であり、出力空間の次元に依存しないことを示す。
- 参考スコア（独自算出の注目度）: 30.08981916090924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the first optimal rates for infinite-dimensional vector-valued ridge regression on a continuous scale of norms that interpolate between $L_2$ and the hypothesis space, which we consider as a vector-valued reproducing kernel Hilbert space. These rates allow to treat the misspecified case in which the true regression function is not contained in the hypothesis space. We combine standard assumptions on the capacity of the hypothesis space with a novel tensor product construction of vector-valued interpolation spaces in order to characterize the smoothness of the regression function. Our upper bound not only attains the same rate as real-valued kernel ridge regression, but also removes the assumption that the target regression function is bounded. For the lower bound, we reduce the problem to the scalar setting using a projection argument. We show that these rates are optimal in most cases and independent of the dimension of the output space. We illustrate our results for the special case of vector-valued Sobolev spaces.
- Abstract（参考訳）: L_2$と仮説空間の間を補間するノルムの連続スケール上で、無限次元ベクトル値リッジ回帰の最初の最適速度を示し、これはベクトル値再生核ヒルベルト空間と考える。
これらの速度は、真の回帰関数が仮説空間に含まれていない不特定ケースを扱うことができる。
仮説空間のキャパシティに関する標準的な仮定とベクトル値補間空間の新たなテンソル積の構成を組み合わせることにより、回帰関数の滑らかさを特徴づける。
我々の上界は実数値のカーネルリッジ回帰と同じ速度を得るだけでなく、対象の回帰関数が有界であるという仮定も取り除く。
下界では、射影引数を用いてスカラー設定に問題を還元する。
これらの値は、ほとんどの場合最適であり、出力空間の次元に依存しないことを示す。
ベクトル値ソボレフ空間の特別な場合について、本研究の結果を説明する。
関連論文リスト
- Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳（メタデータ） (2024-10-29T00:01:04Z) - Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。
ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。
有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
論文 参考訳（メタデータ） (2024-05-23T16:45:52Z) - Functional Partial Least-Squares: Optimal Rates and Adaptation [0.0]
共役勾配法に関連する機能的最小二乗推定器(PLS)の新たな定式化を提案する。
推定器は楕円体のクラス上で(ほぼ)最適収束率を達成することを示す。
論文 参考訳（メタデータ） (2024-02-16T23:47:47Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem [4.503368323711748]
経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。
この目標を$theta$の逆問題として、フォワード演算子が一般に非コンパクトであるような特徴で再定義できることが示される。
この逆問題は、スカラー応答回帰の導出に伴う既知のコンパクト逆問題と等価であることを示す。
論文 参考訳（メタデータ） (2022-11-16T12:33:01Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Origins of Low-dimensional Adversarial Perturbations [17.17170592140042]
分類における低次元対向摂動現象について検討した。
目標は、分類器を騙して、指定されたクラスからの入力のゼロではない割合でその決定を反転させることである。
任意の部分空間のばかばかし率の低いバウンドを計算する。
論文 参考訳（メタデータ） (2022-03-25T17:02:49Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Sparse Representations of Positive Functions via First and Second-Order
Pseudo-Mirror Descent [15.340540198612823]
推定器の範囲が非負である必要がある場合、予測されるリスク問題を考察する。
Emphpseudo-gradientsを用いた近似ミラーの1階および2階の変種を開発した。
実験は、実際に不均一なプロセス強度推定に好適な性能を示す。
論文 参考訳（メタデータ） (2020-11-13T21:54:28Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。