論文の概要: A Precise Performance Analysis of Support Vector Regression
- arxiv url: http://arxiv.org/abs/2105.10373v1
- Date: Fri, 21 May 2021 14:26:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-25 07:01:10.186818
- Title: A Precise Performance Analysis of Support Vector Regression
- Title（参考訳）: サポートベクトル回帰の高精度性能解析
- Authors: Houssem Sifaou, Abla kammoun, Mohamed-Slim Alouini
- Abstract要約: 我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。
得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
- 参考スコア（独自算出の注目度）: 105.94855998235232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study the hard and soft support vector regression
techniques applied to a set of $n$ linear measurements of the form
$y_i=\boldsymbol{\beta}_\star^{T}{\bf x}_i +n_i$ where
$\boldsymbol{\beta}_\star$ is an unknown vector, $\left\{{\bf
x}_i\right\}_{i=1}^n$ are the feature vectors and
$\left\{{n}_i\right\}_{i=1}^n$ model the noise. Particularly, under some
plausible assumptions on the statistical distribution of the data, we
characterize the feasibility condition for the hard support vector regression
in the regime of high dimensions and, when feasible, derive an asymptotic
approximation for its risk. Similarly, we study the test risk for the soft
support vector regression as a function of its parameters. Our results are then
used to optimally tune the parameters intervening in the design of hard and
soft support vector regression algorithms. Based on our analysis, we illustrate
that adding more samples may be harmful to the test performance of support
vector regression, while it is always beneficial when the parameters are
optimally selected. Such a result reminds a similar phenomenon observed in
modern learning architectures according to which optimally tuned architectures
present a decreasing test performance curve with respect to the number of
samples.
- Abstract（参考訳）: 本稿では,y_i=\boldsymbol{\beta}_\star^{t}{\bf x}_i +n_i$ where $\boldsymbol{\beta}_\star$ is an unknown vector, $\left\{{\bf x}_i\right\}_{i=1}^n$ is the feature vectors and $\left\{n}_i\right\}_{i=1}^n$ model the noise and $\left\{n}_i\right\}_{i=1}^n$。
特に、データの統計分布に関するいくつかの妥当な仮定の下では、高次元の状況下でのハードサポートベクター回帰の実現可能性条件を特徴付けるとともに、そのリスクに対する漸近近似を導出する。
同様に, ソフトサポートベクトル回帰に対するテストリスクをパラメータの関数として検討した。
提案手法は,ハードおよびソフトサポートベクトル回帰アルゴリズムの設計におけるパラメータを最適に調整するために用いられる。
解析結果から,パラメータを最適に選択した場合は常に有益であるが,より多くのサンプルを追加することはサポートベクタ回帰テスト性能に有害である可能性が示唆された。
このような結果は、最適に調整されたアーキテクチャがサンプル数に対してテスト性能曲線を減少させる現代の学習アーキテクチャで見られる同様の現象を思い出させる。
関連論文リスト
- Uncertainty quantification for iterative algorithms in linear models with application to early stopping [4.150180443030652]
本稿では,高次元線形回帰問題における反復アルゴリズムから得られた繰り返し$hbb1,dots,hbbT$について検討する。
解析および提案した推定器は、GD(Gradient Descent)、GD(GD)およびFast Iterative Soft-Thresholding(FISTA)などの加速変種に適用できる。
論文 参考訳（メタデータ） (2024-04-27T10:20:41Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - On the well-spread property and its relation to linear regression [4.619541348328937]
頑健な線形回帰モデルにおけるパラメータベクトルの一貫した回復は情報理論上不可能であることを示す。
与えられた$n$-by-d$行列が、周囲の次元で観測回数が二次的である場合、適切に証明できることが示される。
論文 参考訳（メタデータ） (2022-06-16T11:17:44Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Max-Linear Regression by Convex Programming [5.366354612549172]
我々は、最大線形回帰問題の推定器として、アンカーレグレッション(AR)によって与えられるスケーラブルな凸プログラムを定式化し、解析する。
以上の結果から, 対数係数まで, 正確な回復スケールについて, 十分な数のノイズのない観測結果が得られた。
論文 参考訳（メタデータ） (2021-03-12T00:55:54Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - Robust Compressed Sensing using Generative Models [98.64228459705859]
本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。
我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
論文 参考訳（メタデータ） (2020-06-16T19:07:41Z) - Tight Nonparametric Convergence Rates for Stochastic Gradient Descent
under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。
特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文 参考訳（メタデータ） (2020-06-15T08:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。