論文の概要: Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives

• arxiv url: http://arxiv.org/abs/2011.03607v1
• Date: Fri, 6 Nov 2020 21:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 04:31:11.376164
• Title: Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
• Title（参考訳）: 頻度方向のリッジ回帰:統計的および最適化的視点
• Authors: Charlie Dickens
• Abstract要約: acrshortfdは、高精度の解が得られる反復的なスキームによって最適化設定に利用できることを示す。 これは、収束のスピードで、イテレーション毎に新しいスケッチの必要性を妥協する必要のあるランダム化されたアプローチを改善する。
• 参考スコア（独自算出の注目度）: 1.0152838128195465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite its impressive theory \& practical performance, Frequent Directions (\acrshort{fd}) has not been widely adopted for large-scale regression tasks. Prior work has shown randomized sketches (i) perform worse in estimating the covariance matrix of the data than \acrshort{fd}; (ii) incur high error when estimating the bias and/or variance on sketched ridge regression. We give the first constant factor relative error bounds on the bias \& variance for sketched ridge regression using \acrshort{fd}. We complement these statistical results by showing that \acrshort{fd} can be used in the optimization setting through an iterative scheme which yields high-accuracy solutions. This improves on randomized approaches which need to compromise the need for a new sketch every iteration with speed of convergence. In both settings, we also show using \emph{Robust Frequent Directions} further enhances performance.
• Abstract（参考訳）: その印象的な理論と実用性にもかかわらず、頻繁な方向 (\acrshort{fd}) は大規模な回帰タスクでは広く採用されていない。 以前の作品では ランダムなスケッチが i) データの共分散行列を \acrshort{fd} よりもよく推定する。 (ii)スケッチリッジ回帰のバイアスおよび/または分散を推定する場合、高い誤差が生じる。 スケッチされた尾根回帰に対するバイアス \&分散の第一の定数係数相対誤差境界を \acrshort{fd} を用いて与える。 これらの統計的結果は,高精度な解が得られる反復的スキームによって最適化設定に利用できることを示すことで補うことができる。 これにより、コンバージェンス速度でイテレーション毎に新しいスケッチが必要となるような、ランダムなアプローチが改善される。 どちらの設定でも、\emph{robust often directions}の使用はパフォーマンスをさらに向上させる。

関連論文リスト

• Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression [4.150180443030652]
  本稿では,反復アルゴリズムの軌道に沿った反復の一般化誤差を正確に追跡する推定器を提案する。 結果は、ハマー回帰(英語版)、擬ハマー回帰(英語版)、および非滑らかな正則化子を持つそれらのペナル化変種(英語版)など、いくつかの例を通して説明される。
  論文  参考訳（メタデータ） (2024-10-03T16:13:42Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Stagewise Boosting Distributional Regression [0.0]
  本稿では,分布回帰のための段階的ブースティング型アルゴリズムを提案する。 新たな正則化手法である相関フィルタリングを用いて拡張し,さらなる安定性を実現する。 大規模なデータセットを処理するメリットに加えて、近似の性質はより良い結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-28T15:40:39Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• High-dimensional regression with potential prior information on variable importance [0.0]
  順序付けによって示されるモデルの列に適合する簡単なスキームを提案する。 リッジ回帰を用いた場合の全てのモデルの適合に対する計算コストは、リッジ回帰の1つの適合に留まらないことを示す。 モデル全体の整合性を大幅に高速化するために,従来の整合性を利用したラッソ回帰の戦略を述べる。
  論文  参考訳（メタデータ） (2021-09-23T10:34:37Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
  ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。 これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
  論文  参考訳（メタデータ） (2020-08-13T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。