論文の概要: Dimensionality Reduction and Wasserstein Stability for Kernel Regression
- arxiv url: http://arxiv.org/abs/2203.09347v1
- Date: Thu, 17 Mar 2022 14:26:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 14:05:39.357904
- Title: Dimensionality Reduction and Wasserstein Stability for Kernel Regression
- Title(参考訳): カーネル回帰の次元化とワッサースタイン安定性
- Authors: Stephan Eckstein, Armin Iske, Mathias Trabs
- Abstract要約: 入力変数の次元を2次元に減らし、入力変数を減らして出力変数を予測する2段階法の結果について検討する。
結果の回帰誤差を分析するために、ワッサーシュタイン距離に対するカーネル回帰の新しい安定性結果が導出される。
安定度を主成分分析とカーネル回帰の両方の文献からの既知の推定値と組み合わせて、2段階の手順の収束率を求める。
- 参考スコア(独自算出の注目度): 2.578242050187029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a high-dimensional regression framework, we study consequences of the
naive two-step procedure where first the dimension of the input variables is
reduced and second, the reduced input variables are used to predict the output
variable. More specifically we combine principal component analysis (PCA) with
kernel regression. In order to analyze the resulting regression errors, a novel
stability result of kernel regression with respect to the Wasserstein distance
is derived. This allows us to bound errors that occur when perturbed input data
is used to fit a kernel function. We combine the stability result with known
estimates from the literature on both principal component analysis and kernel
regression to obtain convergence rates for the two-step procedure.
- Abstract(参考訳): 高次元回帰(high-dimensional regression)フレームワークでは,まず入力変数の次元を減少させ,次に入力変数を減少させて出力変数を予測するナイーブな2ステップ手順の結果について検討する。
具体的には、主成分分析(PCA)とカーネル回帰を組み合わせる。
結果として生じる回帰誤差を分析するために、ワッサースタイン距離に関する核回帰の新しい安定性結果が導出される。
これにより、摂動入力データがカーネル機能に適合するときに発生するバウンドエラーを可能にする。
安定度を主成分分析とカーネル回帰の両方の文献からの既知の推定値と組み合わせて、2段階の手順の収束率を求める。
関連論文リスト
- Learning Memory Kernels in Generalized Langevin Equations [5.266892492931388]
一般化ランゲヴィン方程式におけるメモリカーネル学習のための新しい手法を提案する。
このアプローチは最初、軌道データから相関関数を推定するために正規化Prony法を使用し、続いてRKHS正則化を伴うソボレフノルムに基づく損失関数の回帰を行う。
論文 参考訳(メタデータ) (2024-02-18T21:01:49Z) - Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection
and Beyond [3.782392436834913]
本研究では,半教師付き深部ソボレフ回帰器であるSDOREを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。
我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。
また、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を導出する。
論文 参考訳(メタデータ) (2024-01-09T13:10:30Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳(メタデータ) (2023-12-30T17:05:31Z) - Gradient Descent Converges Linearly for Logistic Regression on Separable
Data [17.60502131429094]
変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。
また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
論文 参考訳(メタデータ) (2023-06-26T02:15:26Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳(メタデータ) (2021-05-07T03:33:00Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳(メタデータ) (2020-05-07T09:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。