論文の概要: The Hessian Screening Rule
- arxiv url: http://arxiv.org/abs/2104.13026v1
- Date: Tue, 27 Apr 2021 07:55:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-28 13:34:37.328871
- Title: The Hessian Screening Rule
- Title（参考訳）: Hessian Screening Rule
- Authors: Johan Larsson, Jonas Wallin
- Abstract要約: ヘッセンスクリーニング規則はモデルからの2次情報を使用してより正確なスクリーニングを提供する。
このルールは, 相関性の高いシミュレーション実験において, 他の選択肢よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictor screening rules, which discard predictors from the design matrix
before fitting a model, have had sizable impacts on the speed with which
$\ell_1$-regularized regression problems, such as the lasso, can be solved.
Current state-of-the-art screening rules, however, have difficulties in dealing
with highly-correlated predictors, often becoming too conservative. In this
paper, we present a new screening rule to deal with this issue: the Hessian
Screening Rule. The rule uses second-order information from the model in order
to provide more accurate screening as well as higher-quality warm starts. In
our experiments on $\ell_1$-regularized least-squares (the lasso) and logistic
regression, we show that the rule outperforms all other alternatives in
simulated experiments with high correlation, as well as in the majority of real
datasets that we study.
- Abstract（参考訳）: モデルに適合する前に予測器を設計マトリックスから破棄する予測器スクリーニングルールは、lassoのような規則化された回帰問題である$\ell_1$-regularized regression problemを解決できる速度にかなりの影響を与えている。
しかし、現在の最先端のスクリーニングルールは、非常に相関性の高い予測器を扱うのが困難であり、しばしば保守的すぎる。
本稿では,この問題に対処するための新しいスクリーニングルールであるヘッセンスクリーニングルールを提案する。
このルールは、より正確なスクリーニングと高品質なウォームスタートを提供するために、モデルからの2階情報を使用する。
我々は,$\ell_1$-regularized least-squares (the lasso) とロジスティックレグレッション (logistic regression) の実験において,この規則が,我々が研究している実データセットの大部分と同様に,高い相関性を持つシミュレーション実験において,他の全ての代替案よりも優れていることを示す。
関連論文リスト
- Towards Optimal Statistical Watermarking [95.46650092476372]
仮説テスト問題として定式化して統計的透かしを研究する。
我々の定式化の鍵は、出力トークンと拒絶領域の結合である。
一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
論文 参考訳（メタデータ） (2023-12-13T06:57:00Z) - Sequential Kernelized Independence Testing [101.22966794822084]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - Deep Hierarchy in Bandits [51.22833900944146]
行動の報酬は、しばしば相関する。
統計的効率を最大化するためには,これらの相関を学習に活用することが重要である。
平均作用報酬の相関が階層的ベイズモデルで表されるこの問題のバンディット変法を定式化する。
論文 参考訳（メタデータ） (2022-02-03T08:15:53Z) - Safe Screening for Logistic Regression with $\ell_0$-$\ell_2$
Regularization [0.360692933501681]
問題を解く前にロジスティック回帰から機能を安全に除去するスクリーニングルールを提案する。
高い割合の機能は有効かつ安全に除去できるため、計算の大幅なスピードアップにつながる。
論文 参考訳（メタデータ） (2022-02-01T15:25:54Z) - Look-Ahead Screening Rules for the Lasso [2.538209532048867]
ラッソは回帰問題の解ベクトル(係数)における縮退とスパーシリティを誘導する一般的な方法である。
我々は,新しいスクリーニング戦略であるルック・ア・ヘッド・スクリーニングを提案する。
提案手法は安全なスクリーニングルールを用いて,与えられた予測器がモデルに入力できない範囲のペナルティ値を求め,その経路の残りに沿って予測器をスクリーニングする。
論文 参考訳（メタデータ） (2021-05-12T13:27:40Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - The Strong Screening Rule for SLOPE [5.156484100374058]
我々は,SLOPEのサブディファレンシャルを検証して,SLOPEのスクリーニングルールを開発し,このルールがラッソの強い規則の一般化であることを示す。
我々の数値実験は、このルールが実際にうまく機能していることを示し、$p gg n$ ドメインのデータに対して桁違いに改善されることを示している。
論文 参考訳（メタデータ） (2020-05-07T20:14:20Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z) - A General Theory of the Stochastic Linear Bandit and Its Applications [8.071506311915398]
本稿では,線形バンディット問題に対する一般解析フレームワークとアルゴリズム群を紹介する。
予測における最適化という新たな概念は、OFULの過剰探索問題を減少させるSieeved greedy(SG)と呼ばれる新しいアルゴリズムを生み出します。
SGが理論的に最適であることを示すことに加えて、実験シミュレーションにより、SGはgreedy、OFUL、TSといった既存のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-02-12T18:54:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。