論文の概要: Learning functions varying along a central subspace

• arxiv url: http://arxiv.org/abs/2001.07883v3
• Date: Tue, 16 Nov 2021 08:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 18:58:22.526479
• Title: Learning functions varying along a central subspace
• Title（参考訳）: 中心部分空間に沿って変化する学習関数
• Authors: Hao Liu, Wenjing Liao
• Abstract要約: 多くの興味のある函数は高次元空間にあるが、低次元構造を持っている。 本稿では,$s$-H" 関数 $f$ in $mathbbRD$ の回帰について検討する。 直接近似の$f in $mathbbRD$と$varepsilon$の精度は$varepsilon(2s+D)/s$の順に$n$のサンプル数を必要とする。
• 参考スコア（独自算出の注目度）: 11.861592192791347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many functions of interest are in a high-dimensional space but exhibit low-dimensional structures. This paper studies regression of a $s$-H\"{o}lder function $f$ in $\mathbb{R}^D$ which varies along a central subspace of dimension $d$ while $d\ll D$. A direct approximation of $f$ in $\mathbb{R}^D$ with an $\varepsilon$ accuracy requires the number of samples $n$ in the order of $\varepsilon^{-(2s+D)/s}$. In this paper, we analyze the Generalized Contour Regression (GCR) algorithm for the estimation of the central subspace and use piecewise polynomials for function approximation. GCR is among the best estimators for the central subspace, but its sample complexity is an open question. We prove that GCR leads to a mean squared estimation error of $O(n^{-1})$ for the central subspace, if a variance quantity is exactly known. The estimation error of this variance quantity is also given in this paper. The mean squared regression error of $f$ is proved to be in the order of $\left(n/\log n\right)^{-\frac{2s}{2s+d}}$ where the exponent depends on the dimension of the central subspace $d$ instead of the ambient space $D$. This result demonstrates that GCR is effective in learning the low-dimensional central subspace. We also propose a modified GCR with improved efficiency. The convergence rate is validated through several numerical experiments.
• Abstract（参考訳）: 多くの興味のある函数は高次元空間にあるが、低次元構造を持っている。 本稿では、$s$-H\"{o}lder function $f$ in $\mathbb{R}^D$の回帰について研究する。 $\varepsilon$の精度で$f$ in $\mathbb{r}^d$の直接近似は、$\varepsilon^{-(2s+d)/s}$の順に$n$のサンプル数を必要とする。 本稿では,中心部分空間を推定するための一般化輪郭回帰 (GCR) アルゴリズムを解析し,関数近似にピースワイズ多項式を用いる。 GCRは中心部分空間の最良の推定量であるが、そのサンプルの複雑さは開問題である。 GCRが中心部分空間に対して平均2乗推定誤差を$O(n^{-1})$に導くことを証明する。 本論文では, この分散量の推定誤差についても述べる。 f$の平均二乗回帰誤差は$\left(n/\log n\right)^{-\frac{2s}{2s+d}}$の順であることが証明される。 この結果は、GCRが低次元中心部分空間の学習に有効であることを示す。 また,効率を向上した改良型GCRを提案する。 収束率はいくつかの数値実験によって検証される。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Efficient Estimation of the Central Mean Subspace via Smoothed Gradient Outer Products [12.047053875716506]
  マルチインデックスモデルに対する十分な次元削減の問題を考察する。 高速パラメトリック収束速度が$C_d cdot n-1/2$であることを示す。
  論文  参考訳（メタデータ） (2023-12-24T12:28:07Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• $O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds [2.2334941294830095]
  多くの実世界のデータセットは、高次元のスティーフェル多様体とグラスマン多様体に、それぞれ$V_k(mathbbRN)$と$Gr(k, mathbbRN)$で存在する。 我々は,PSC(Principal Stiefel Coordinates)と呼ばれるアルゴリズムを提案し,データ次元を$V_k(mathbbRN)$から$V_k(mathbbRN)$へ$O(k)$-equivariantな方法で還元する。
  論文  参考訳（メタデータ） (2023-09-19T17:21:12Z)
• Parameterized Approximation for Robust Clustering in Discrete Geometric Spaces [2.687607197645453]
  次元$Theta(log n)$ が $(sqrt3/2-o(1))$hard である場合でさえ、FPTアルゴリズムを近似する。 また、次元 $Theta(log n)$ が $(sqrt3/2-o(1))$hard であるような特別な場合でさえ、FPTアルゴリズムを近似することを示す。
  論文  参考訳（メタデータ） (2023-05-12T08:43:28Z)
• Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks [10.368585938419619]
  $mathbbRd$に$n$のデータポイントのクラウドが与えられると、$mathbbRd$の$m$次元部分空間へのすべての射影を考える。 この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか? この極限の低次元射影として生じる $mathbbRm$ の確率分布の集合の α$ を $mathscrF_m で表すと、$mathscrF_ に新たな内界と外界を確立する。
  論文  参考訳（メタデータ） (2022-06-14T00:07:33Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
  我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。 規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
  論文  参考訳（メタデータ） (2021-05-31T16:10:49Z)
• An $L^2$ Analysis of Reinforcement Learning in High Dimensions with Kernel and Neural Network Approximation [9.088303226909277]
  本稿では,カーネル法や2層ニューラルネットワークモデルを用いて関数近似を行う状況について考察する。 私たちは$tildeO(H3|mathcal A|frac14n-frac14)$を$Hn$サンプルで最適なポリシーにバインドします。 この結果はまだ有限次元の作用空間を必要とするが、誤差境界は状態空間の次元とは独立である。
  論文  参考訳（メタデータ） (2021-04-15T21:59:03Z)
• Small Covers for Near-Zero Sets of Polynomials and Learning Latent Variable Models [56.98280399449707]
  我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。 構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2020-12-14T18:14:08Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。