論文の概要: Ridge Regression with Frequent Directions: Statistical and Optimization
Perspectives
- arxiv url: http://arxiv.org/abs/2011.03607v1
- Date: Fri, 6 Nov 2020 21:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 04:31:11.376164
- Title: Ridge Regression with Frequent Directions: Statistical and Optimization
Perspectives
- Title(参考訳): 頻度方向のリッジ回帰:統計的および最適化的視点
- Authors: Charlie Dickens
- Abstract要約: acrshortfdは、高精度の解が得られる反復的なスキームによって最適化設定に利用できることを示す。
これは、収束のスピードで、イテレーション毎に新しいスケッチの必要性を妥協する必要のあるランダム化されたアプローチを改善する。
- 参考スコア(独自算出の注目度): 1.0152838128195465
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite its impressive theory \& practical performance, Frequent Directions
(\acrshort{fd}) has not been widely adopted for large-scale regression tasks.
Prior work has shown randomized sketches (i) perform worse in estimating the
covariance matrix of the data than \acrshort{fd}; (ii) incur high error when
estimating the bias and/or variance on sketched ridge regression. We give the
first constant factor relative error bounds on the bias \& variance for
sketched ridge regression using \acrshort{fd}. We complement these statistical
results by showing that \acrshort{fd} can be used in the optimization setting
through an iterative scheme which yields high-accuracy solutions. This improves
on randomized approaches which need to compromise the need for a new sketch
every iteration with speed of convergence. In both settings, we also show using
\emph{Robust Frequent Directions} further enhances performance.
- Abstract(参考訳): その印象的な理論と実用性にもかかわらず、頻繁な方向 (\acrshort{fd}) は大規模な回帰タスクでは広く採用されていない。
以前の作品では ランダムなスケッチが
i) データの共分散行列を \acrshort{fd} よりもよく推定する。
(ii)スケッチリッジ回帰のバイアスおよび/または分散を推定する場合、高い誤差が生じる。
スケッチされた尾根回帰に対するバイアス \&分散の第一の定数係数相対誤差境界を \acrshort{fd} を用いて与える。
これらの統計的結果は,高精度な解が得られる反復的スキームによって最適化設定に利用できることを示すことで補うことができる。
これにより、コンバージェンス速度でイテレーション毎に新しいスケッチが必要となるような、ランダムなアプローチが改善される。
どちらの設定でも、\emph{robust often directions}の使用はパフォーマンスをさらに向上させる。
関連論文リスト
- High-dimensional analysis of double descent for linear regression with
random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。
まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。
次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文 参考訳(メタデータ) (2023-03-02T15:58:09Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳(メタデータ) (2022-03-18T05:49:13Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - High-dimensional regression with potential prior information on variable
importance [0.0]
順序付けによって示されるモデルの列に適合する簡単なスキームを提案する。
リッジ回帰を用いた場合の全てのモデルの適合に対する計算コストは、リッジ回帰の1つの適合に留まらないことを示す。
モデル全体の整合性を大幅に高速化するために,従来の整合性を利用したラッソ回帰の戦略を述べる。
論文 参考訳(メタデータ) (2021-09-23T10:34:37Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient
Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。
これは平均二乗誤差を確実に減少させる。
これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文 参考訳(メタデータ) (2020-10-09T22:54:38Z) - Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial
Attacks [86.88061841975482]
我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。
我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。
提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
論文 参考訳(メタデータ) (2020-10-08T18:36:51Z) - Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。
これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
論文 参考訳(メタデータ) (2020-08-13T15:34:01Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-16T04:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。