論文の概要: Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps
on Neighborhood Graphs
- arxiv url: http://arxiv.org/abs/2111.07394v1
- Date: Sun, 14 Nov 2021 17:32:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 05:49:18.536417
- Title: Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps
on Neighborhood Graphs
- Title（参考訳）: 近傍グラフ上のラプラシアン固有写像によるソボレフ空間上のミニマックス最適回帰
- Authors: Alden Green, Sivaraman Balakrishnan, Ryan J. Tibshirani
- Abstract要約: ラプラシアン固有写像(PCR-LE)を用いた主成分回帰の統計的性質について検討する。
PCR-LEは、近傍グラフラプラシアンの特定の固有ベクトルによって分散された部分空間に観測された応答のベクトルを投影することで機能する。
PCR-LEはソボレフ空間上のランダムな設計回帰に対して最小収束率を達成することを示す。
- 参考スコア（独自算出の注目度）: 25.597646488273558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we study the statistical properties of Principal Components
Regression with Laplacian Eigenmaps (PCR-LE), a method for nonparametric
regression based on Laplacian Eigenmaps (LE). PCR-LE works by projecting a
vector of observed responses ${\bf Y} = (Y_1,\ldots,Y_n)$ onto a subspace
spanned by certain eigenvectors of a neighborhood graph Laplacian. We show that
PCR-LE achieves minimax rates of convergence for random design regression over
Sobolev spaces. Under sufficient smoothness conditions on the design density
$p$, PCR-LE achieves the optimal rates for both estimation (where the optimal
rate in squared $L^2$ norm is known to be $n^{-2s/(2s + d)}$) and
goodness-of-fit testing ($n^{-4s/(4s + d)}$). We also show that PCR-LE is
\emph{manifold adaptive}: that is, we consider the situation where the design
is supported on a manifold of small intrinsic dimension $m$, and give upper
bounds establishing that PCR-LE achieves the faster minimax estimation
($n^{-2s/(2s + m)}$) and testing ($n^{-4s/(4s + m)}$) rates of convergence.
Interestingly, these rates are almost always much faster than the known rates
of convergence of graph Laplacian eigenvectors to their population-level
limits; in other words, for this problem regression with estimated features
appears to be much easier, statistically speaking, than estimating the features
itself. We support these theoretical results with empirical evidence.
- Abstract（参考訳）: 本稿では,ラプラシアン固有写像(LE)に基づく非パラメトリック回帰法であるPCR-LEを用いた主成分回帰の統計的性質について検討する。
pcr-le は、観察された応答のベクトル ${\bf y} = (y_1,\ldots,y_n)$ を、近傍グラフラプラシアンのある固有ベクトルにまたがる部分空間に投影する。
pcr-le はソボレフ空間上のランダム設計回帰に対して最小収束率を達成する。
設計密度$p$の十分な滑らかさ条件の下では、PCR-LE は両方の推定(正方形$L^2$ノルムの最適レートが$n^{-2s/(2s + d)}$、良質な試験(n^{-4s/(4s + d)}$)の最適レートを達成する。
また、PCR-LE が \emph{manifold Adaptive} であること、すなわち、設計が小さな内在次元の多様体上でサポートされている状況を考えると、PCR-LE がより高速な最小値推定(n^{-2s/(2s + m)}$)を達成し、収束率(n^{-4s/(4s + m)}$)をテストすることを保証する上限を与える。
興味深いことに、これらの速度は、既知のグラフラプラシア固有ベクトルの集団レベルの限界への収束率よりも常に速く、言い換えれば、推定された特徴によるこの問題の回帰は、特徴自体を推定するよりもずっと簡単で統計的に話すことができる。
我々はこれらの理論結果を実証的な証拠で支持する。
関連論文リスト
- Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Relation between PLS and OLS regression in terms of the eigenvalue
distribution of the regressor covariance matrix [0.0]
部分最小二乗法 (partial least squares, PLS) は、化学工学の分野で導入された次元還元法である。
PLS回帰は、クリロフ部分空間に制限された最小二乗問題として定式化することができる。
私たちは$hatboldsymbolbeta;_mathrmPLSscriptscriptstyle (L)$の間の距離を分析する。
論文 参考訳（メタデータ） (2023-12-03T13:00:03Z) - Optimal minimax rate of learning interaction kernels [7.329333373512536]
広帯域の交換可能な分布に対して最適な収束率を得るための最小二乗推定器(tLSE)を導入する。
以上の結果から, 大きな試料限界の逆問題が保たれた場合, 左テール確率はバイアス分散トレードオフを変化させないことがわかった。
論文 参考訳（メタデータ） (2023-11-28T15:01:58Z) - Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。
初期解法はハマー損失最小化に基づくM推定器である。
最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
論文 参考訳（メタデータ） (2023-05-26T09:33:17Z) - Estimating the minimizer and the minimum value of a regression function
under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文 参考訳（メタデータ） (2022-11-29T18:38:40Z) - Polyak-Ruppert Averaged Q-Leaning is Statistically Efficient [90.14768299744792]
我々はPolyak-Ruppert 平均 Q-leaning (平均 Q-leaning) を用いた同期 Q-learning を$gamma$-discounted MDP で検討した。
繰り返し平均$barboldsymbolQ_T$に対して正規性を確立する。
要するに、我々の理論分析は、Q-Leaningの平均は統計的に効率的であることを示している。
論文 参考訳（メタデータ） (2021-12-29T14:47:56Z) - Minimax Optimal Regression over Sobolev Spaces via Laplacian
Regularization on Neighborhood Graphs [25.597646488273558]
非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。
ラプラシアン滑らか化が多様体適応であることを証明する。
論文 参考訳（メタデータ） (2021-06-03T01:20:41Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。