論文の概要: Outlier-robust sparse/low-rank least-squares regression and robust
matrix completion
- arxiv url: http://arxiv.org/abs/2012.06750v2
- Date: Tue, 27 Apr 2021 15:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-10 09:34:36.915826
- Title: Outlier-robust sparse/low-rank least-squares regression and robust
matrix completion
- Title（参考訳）: Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
- Authors: Philip Thompson
- Abstract要約: 異種雑音を伴うサブガウシアン統計学習枠組みにおける高次元最小二乗回帰について検討した。
また, 生成過程の新たな応用に基づく行列分解によるトレース回帰の新たな理論を提案する。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study high-dimensional least-squares regression within a subgaussian
statistical learning framework with heterogeneous noise. It includes $s$-sparse
and $r$-low-rank least-squares regression when a fraction $\epsilon$ of the
labels are adversarially contaminated. We also present a novel theory of
trace-regression with matrix decomposition based on a new application of the
product process. For these problems, we show novel near-optimal "subgaussian"
estimation rates of the form
$r(n,d_{e})+\sqrt{\log(1/\delta)/n}+\epsilon\log(1/\epsilon)$, valid with
probability at least $1-\delta$. Here, $r(n,d_{e})$ is the optimal
uncontaminated rate as a function of the effective dimension $d_{e}$ but
independent of the failure probability $\delta$. These rates are valid
uniformly on $\delta$, i.e., the estimators' tuning do not depend on $\delta$.
Lastly, we consider noisy robust matrix completion with non-uniform sampling.
If only the low-rank matrix is of interest, we present a novel near-optimal
rate that is independent of the corruption level $a$. Our estimators are
tractable and based on a new "sorted" Huber-type loss. No information on
$(s,r,\epsilon,a,\delta)$ are needed to tune these estimators. Our analysis
makes use of novel $\delta$-optimal concentration inequalities for the
multiplier and product processes which could be useful elsewhere. For instance,
they imply novel sharp oracle inequalities for Lasso and Slope with optimal
dependence on $\delta$. Numerical simulations confirm our theoretical
predictions. In particular, "sorted" Huber regression can outperform classical
Huber regression.
- Abstract（参考訳）: 異種雑音を伴うサブガウシアン統計学習枠組みにおける高次元最小二乗回帰について検討した。
ラベルのわずかな$\epsilon$ が反対に汚染された場合に$s$-sparse と $r$-low-rank の最小二乗回帰を含む。
また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレース回帰理論を提案する。
これらの問題に対して、r(n,d_{e})+\sqrt{\log(1/\delta)/n}+\epsilon\log(1/\epsilon)$という形の新しい「準ガウス的」推定率は、少なくとも1-\delta$という確率で有効である。
ここで、$r(n,d_{e})$ は有効次元 $d_{e}$ の関数として最適非汚染率であるが、失敗確率 $\delta$ とは独立である。
これらの値は$\delta$、すなわち、推定子のチューニングは$\delta$に依存しない。
最後に,非一様サンプリングによる頑健な行列補完について考察する。
低ランク行列だけに興味があるなら、汚職レベル$a$とは無関係に、非常に近い最適率を示す。
私たちの推定器は、新しい"ソートされた"Huber型損失に基づいて、トラクタブルです。
これらの推定値を調整するには$(s,r,\epsilon,a,\delta)$に関する情報は必要ない。
我々の分析では、他の場所で有用な乗算および製品プロセスに対して、新規な$\delta$-optimal concentration inequalityを利用する。
例えば、sso と Slope の鋭いオラクルの不等式は $\delta$ に最適に依存する。
数値シミュレーションは我々の理論予測を裏付ける。
特に、"ソート"なHuber回帰は、古典的なHuber回帰よりも優れている。
関連論文リスト
- Computational-Statistical Gaps for Improper Learning in Sparse Linear Regression [4.396860522241307]
疎線形回帰の効率的な学習アルゴリズムは, 負のスパイクを持つスパースPCA問題を解くのに有効であることを示す。
我々は,低次および統計的クエリの低い境界を減らしたスパース問題に対して補う。
論文 参考訳（メタデータ） (2024-02-21T19:55:01Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。
初期解法はハマー損失最小化に基づくM推定器である。
最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
論文 参考訳（メタデータ） (2023-05-26T09:33:17Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Active Sampling for Linear Regression Beyond the $\ell_2$ Norm [70.49273459706546]
対象ベクトルの少数のエントリのみを問合せすることを目的とした線形回帰のためのアクティブサンプリングアルゴリズムについて検討する。
我々はこの$d$への依存が対数的要因まで最適であることを示す。
また、損失関数に対して最初の全感度上界$O(dmax1,p/2log2 n)$を提供し、最大で$p$成長する。
論文 参考訳（メタデータ） (2021-11-09T00:20:01Z) - Consistent Estimation for PCA and Sparse Regression with Oblivious
Outliers [13.244654316770815]
我々は効率よく計算可能で一貫した推定器を設計する機械を開発する。
スパース回帰では、最適なサンプルサイズ$ngsim (klog d)/alpha2$の整合性を達成する。
PCAの文脈では、パラメータ行列上の広いスパイキネス仮定の下で最適な誤差を保証する。
論文 参考訳（メタデータ） (2021-11-04T15:59:44Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z) - Truncated Linear Regression in High Dimensions [26.41623833920794]
truncated linear regression において、従属変数 $(A_i, y_i)_i$ は $y_i= A_irm T cdot x* + eta_i$ は固定された未知の興味ベクトルである。
目標は、$A_i$とノイズ分布に関するいくつかの好ましい条件の下で$x*$を回復することである。
我々は、$k$-sparse $n$-dimensional vectors $x*$ from $m$ truncated sample。
論文 参考訳（メタデータ） (2020-07-29T00:31:34Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。