Fugu-MT 論文翻訳(概要): Conditional regression for the Nonlinear Single-Variable Model

論文の概要: Conditional regression for the Nonlinear Single-Variable Model

arxiv url: http://arxiv.org/abs/2411.09686v2
Date: Fri, 11 Jul 2025 16:03:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 14:01:04.693978
Title: Conditional regression for the Nonlinear Single-Variable Model
Title（参考訳）: 非線形単変数モデルの条件回帰
Authors: Yantao Wu, Mauro Maggioni,
Abstract要約: 次元の統計的および計算的呪いなしで、$mathbbRd$に$F$を回帰するには、特別な統計モデルが必要である。ここで、モデル $F(X):=f(Pi_gamma X)$ ここで $Pi_gamma:mathbbRdto[0,textrmlen_gamma]$ は正則曲線のパラメータへの最も近い点射影である。
参考スコア（独自算出の注目度）: 4.565636963872865
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Regressing a function $F$ on $\mathbb{R}^d$ without the statistical and computational curse of dimensionality requires special statistical models, for example that impose geometric assumptions on the distribution of the data (e.g., that its support is low-dimensional), or strong smoothness assumptions on $F$, or a special structure $F$. Among the latter, compositional models $F=f\circ g$ with $g$ mapping to $\mathbb{R}^r$ with $r\ll d$ include classical single- and multi-index models, as well as neural networks. While the case where $g$ is linear is well-understood, less is known when $g$ is nonlinear, and in particular for which $g$'s the curse of dimensionality in estimating $F$, or both $f$ and $g$, may be circumvented. Here we consider a model $F(X):=f(\Pi_\gamma X)$ where $\Pi_\gamma:\mathbb{R}^d\to[0,\textrm{len}_\gamma]$ is the closest-point projection onto the parameter of a regular curve $\gamma:[0, \textrm{len}_\gamma]\to\mathbb{R}^d$, and $f:[0,\textrm{len}_\gamma]\to \mathbb{R}^1$. The input data $X$ is not low-dimensional: it can be as far from $\gamma$ as the condition that $\Pi_\gamma(X)$ is well-defined allows. The distribution $X$, the curve $\gamma$ and the function $f$ are all unknown. This model is a natural nonlinear generalization of the single-index model, corresponding to $\gamma$ being a line. We propose a nonparametric estimator, based on conditional regression, that under suitable assumptions, the strongest of which being that $f$ is coarsely monotone, achieves, up to log factors, the $\textit{one-dimensional}$ optimal min-max rate for non-parametric regression, up to the level of noise in the observations, and be constructed in time $\mathcal{O}(d^2 n\log n)$. All the constants in the learning bounds, in the minimal number of samples required for our bounds to hold, and in the computational complexity are at most low-order polynomials in $d$.
Abstract（参考訳）: 例えば、データの分布に幾何的な仮定(例えば、そのサポートが低次元である)を課すような特別な統計モデルや、$F$の強い滑らかさ仮定、あるいは特別な構造である$F$を必要とする。後者のうち、$F=f\circ g$と$g$を$\mathbb{R}^r$と$r\ll d$にマッピングする合成モデルには、古典的なシングルインデックスモデルやマルチインデックスモデル、ニューラルネットワークが含まれる。 g$ が線型である場合についてはよく理解されているが、$g$ が非線形であることは分かっておらず、特に$g$ が$F$ あるいは $f$ と $g$ の両方を推定する次元性の呪いを回避できる。ここで、モデル $F(X):=f(\Pi_\gamma X)$ where $\Pi_\gamma:\mathbb{R}^d\to[0,\textrm{len}_\gamma]$ は正則曲線 $\gamma:[0, \textrm{len}_\gamma]\to\mathbb{R}^d$ および $f:[0,\textrm{len}_\gamma]\to \mathbb{R}^1$ のパラメータへの最も近い点射影である。入力データ $X$ は低次元ではなく、$\Pi_\gamma(X)$ が十分に定義された条件であるような$\gamma$ から遠ざかることができる。分布$X$、曲線$\gamma$、関数$f$は全て未知である。このモデルは単インデックスモデルの自然な非線形一般化であり、線である$\gamma$に対応する。条件付き回帰に基づく非パラメトリック推定器を提案し、その最も強い仮定は、$f$が粗いモノトンであり、ログファクタ、$\textit{one-dimensional}$Optim min-max rateの非パラメトリック回帰に対して、$\textit{one-dimensional}$Optim min-max rateを達成し、観測のノイズレベルまで到達し、時間$\mathcal{O}(d^2 n\log n)$で構築できることである。学習バウンダリのすべての定数、そのバウンダリの保持に必要な最小限のサンプル数、計算複雑性は、少なくとも$d$の低次多項式である。

関連論文リスト

Model-agnostic basis functions for the 2-point correlation function of dark matter in linear theory [0.0]
幅広い種類の宇宙モデルにおいて、バリオン音響振動特性の近傍に$xi_rm lin(r)$を記述する基底 $mathcalB$ を求める。モデルに依存しないBAO解析における基礎関数の使用は、統計的に有意な利益をもたらす可能性がある。
論文参考訳（メタデータ） (2024-10-28T18:00:01Z)
Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文参考訳（メタデータ） (2024-02-06T15:39:09Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
$O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds [2.0818404738530525]
多くの実世界のデータセットは、高次元のスティーフェル多様体とグラスマン多様体に、それぞれ$V_k(mathbbRN)$と$Gr(k, mathbbRN)$で存在する。我々はtextitPrincipal Stiefel Coordinates (PSC) というアルゴリズムを提案し、データ次元を$V_k(mathbbRN)$から$V_k(mathbbRn)$に減らした。
論文参考訳（メタデータ） (2023-09-19T17:21:12Z)
Learning (Very) Simple Generative Models Is Hard [45.13248517769758]
我々は,$mathbbRdtobbRd'$の出力座標が$mathrmpoly(d)$ニューロンを持つ一層ReLUネットワークである場合でも,リアルタイムアルゴリズムが問題を解決可能であることを示す。我々の証明の鍵となる要素は、コンパクトに支持されたピースワイズ線形関数$f$をニューラルネットワークで束ねたスロープで構築することであり、$mathcalN(0,1)$のプッシュフォワードは$mathcalのすべての低度モーメントと一致する。
論文参考訳（メタデータ） (2022-05-31T17:59:09Z)
Structure Learning in Graphical Models from Indirect Observations [17.521712510832558]
本稿では、パラメータ法と非パラメトリック法の両方を用いて、Rp$における$p$次元ランダムベクトル$Xのグラフィカル構造を学習する。温和な条件下では、グラフ構造推定器が正しい構造を得ることができることを示す。
論文参考訳（メタデータ） (2022-05-06T19:24:44Z)
Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文参考訳（メタデータ） (2021-10-05T09:33:49Z)
Spectral properties of sample covariance matrices arising from random matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$. ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文参考訳（メタデータ） (2021-09-06T14:21:43Z)
Minimax Optimal Regression over Sobolev Spaces via Laplacian Regularization on Neighborhood Graphs [25.597646488273558]
非パラメトリック回帰に対するグラフに基づくアプローチであるラプラシア平滑化の統計的性質について検討する。ラプラシアン滑らか化が多様体適応であることを証明する。
論文参考訳（メタデータ） (2021-06-03T01:20:41Z)
Efficient Statistics for Sparse Graphical Models from Truncated Samples [19.205541380535397]
i) スパースガウス図形モデルの推論と (ii) スパース線形モデルの回復支援の2つの基本的問題と古典的問題に焦点をあてる。疎線型回帰については、$(bf x,y)$ が生成されるが、$y = bf xtopOmega* + MathcalN(0,1)$ と $(bf x, y)$ は、truncation set $S subseteq mathbbRd$ に属する場合にのみ見られる。
論文参考訳（メタデータ） (2020-06-17T09:21:00Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。