論文の概要: Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably
- arxiv url: http://arxiv.org/abs/2010.09265v1
- Date: Mon, 19 Oct 2020 07:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:46:16.804839
- Title: Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably
- Title（参考訳）: 非線形回帰の確率的線形結合の効率的・スカラー化
- Authors: Di Wang and Xiangyu Guo and Chaowen Guan and Shi Li and Jinhui Xu
- Abstract要約: サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
- 参考スコア（独自算出の注目度）: 23.372021234032363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, many machine learning and statistical models such as non-linear
regressions, the Single Index, Multi-index, Varying Coefficient Index Models
and Two-layer Neural Networks can be reduced to or be seen as a special case of
a new model which is called the \textit{Stochastic Linear Combination of
Non-linear Regressions} model. However, due to the high non-convexity of the
problem, there is no previous work study how to estimate the model. In this
paper, we provide the first study on how to estimate the model efficiently and
scalably. Specifically, we first show that with some mild assumptions, if the
variate vector $x$ is multivariate Gaussian, then there is an algorithm whose
output vectors have $\ell_2$-norm estimation errors of $O(\sqrt{\frac{p}{n}})$
with high probability, where $p$ is the dimension of $x$ and $n$ is the number
of samples. The key idea of the proof is based on an observation motived by the
Stein's lemma. Then we extend our result to the case where $x$ is bounded and
sub-Gaussian using the zero-bias transformation, which could be seen as a
generalization of the classic Stein's lemma. We also show that with some
additional assumptions there is an algorithm whose output vectors have
$\ell_\infty$-norm estimation errors of
$O(\frac{1}{\sqrt{p}}+\sqrt{\frac{p}{n}})$ with high probability. We also
provide a concrete example to show that there exists some link function which
satisfies the previous assumptions. Finally, for both Gaussian and sub-Gaussian
cases we propose a faster sub-sampling based algorithm and show that when the
sub-sample sizes are large enough then the estimation errors will not be
sacrificed by too much. Experiments for both cases support our theoretical
results.
To the best of our knowledge, this is the first work that studies and
provides theoretical guarantees for the stochastic linear combination of
non-linear regressions model.
- Abstract（参考訳）: 近年,非線形回帰モデル(Single Index, Multi-index, Varying Coefficient Index Models, Two-layer Neural Networks)のような機械学習や統計モデルの多くは,非線形回帰モデル(Non-linear Regressions} model)と呼ばれる新しいモデルの特別な場合とみなすことができる。
しかしながら、問題の非凸性が高いため、モデルの推定方法に関する以前の研究は行われていない。
本稿では,モデルを効率的にスカラに見積もる方法について,最初の研究を行う。
具体的には、いくつかの穏やかな仮定で、変数ベクトル $x$ が多変量ガウスであれば、出力ベクトルが $O(\sqrt {\frac{p}{n}})$ の $O(\sqrt {\frac{p}{n}})$ の誤差を持つアルゴリズムが存在し、$p$ は$x$ の次元であり、$n$ はサンプルの数である。
証明の鍵となるアイデアは、スタインの補題によって動機付けられた観察に基づいている。
すると、その結果を、古典的なシュタインの補題の一般化と見なすことができるゼロバイアス変換を用いて、$x$ が有界かつガウス以下の場合にまで拡張する。
また、いくつかの追加の仮定により、出力ベクトルが$\ell_\infty$-norm推定誤差が$o(\frac{1}{\sqrt{p}}+\sqrt{\frac{p}{n}})であるようなアルゴリズムが存在することも示されている。
また、以前の仮定を満たすリンク関数が存在することを示す具体的な例を示す。
最後に、ガウス型とガウス型の両方の場合において、より高速なサブサンプリングに基づくアルゴリズムを提案し、サブサンプルサイズが十分に大きい場合、推定誤差は過度に犠牲にならないことを示す。
どちらの場合も実験は理論的な結果を裏付ける。
我々の知る限りでは、これは非線形回帰モデルの確率的線形結合の研究と理論的保証を提供する最初の研究である。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Computational-Statistical Gaps for Improper Learning in Sparse Linear Regression [4.396860522241307]
疎線形回帰の効率的な学習アルゴリズムは, 負のスパイクを持つスパースPCA問題を解くのに有効であることを示す。
我々は,低次および統計的クエリの低い境界を減らしたスパース問題に対して補う。
論文 参考訳（メタデータ） (2024-02-21T19:55:01Z) - Sparse Gaussian Graphical Models with Discrete Optimization:
Computational and Statistical Perspectives [8.403841349300103]
本研究では,無向ガウス図形モデルに基づくスパースグラフの学習問題を考察する。
擬似微分関数の $ell_0$-penalized バージョンに基づく新しい推定器 GraphL0BnB を提案する。
実/合成データセットに関する数値実験により,本手法がほぼ最適に,p = 104$の問題を解けることが示唆された。
論文 参考訳（メタデータ） (2023-07-18T15:49:02Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - What Makes A Good Fisherman? Linear Regression under Self-Selection Bias [32.6588421908864]
古典的な自己選択の設定では、ゴールは、観測値$(x(i), y(i))$から同時に$k$モデルを学ぶことである。
本研究では,モデルが線形であるこの問題の最も標準的な設定に対して,計算的かつ統計的に効率的な推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T14:03:05Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Max-Linear Regression by Convex Programming [5.366354612549172]
我々は、最大線形回帰問題の推定器として、アンカーレグレッション(AR)によって与えられるスケーラブルな凸プログラムを定式化し、解析する。
以上の結果から, 対数係数まで, 正確な回復スケールについて, 十分な数のノイズのない観測結果が得られた。
論文 参考訳（メタデータ） (2021-03-12T00:55:54Z) - Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression [13.14903445595385]
モデルの不特定にもかかわらず、$ell_1$-regularized linear regression(ell_1$-LinR)推定器は、$N$変数でIsingモデルのグラフ構造を復元することに成功した。
また,$ell_1$-LinR推定器の非漸近性能を適度な$M$と$N$で正確に予測する計算効率のよい手法を提案する。
論文 参考訳（メタデータ） (2021-02-08T03:45:10Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。