論文の概要: Prevalidated ridge regression is a highly-efficient drop-in replacement for logistic regression for high-dimensional data

• arxiv url: http://arxiv.org/abs/2401.15610v1
• Date: Sun, 28 Jan 2024 09:38:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 17:27:03.778348
• Title: Prevalidated ridge regression is a highly-efficient drop-in replacement for logistic regression for high-dimensional data
• Title（参考訳）: 高次元データに対するロジスティック回帰の高精度なドロップイン置換
• Authors: Angus Dempster, Geoffrey I. Webb, Daniel F. Schmidt
• Abstract要約: 分類誤差やログロスの点から,ロジスティック回帰と一致する有意なリッジ回帰モデルを提案する。 モデルの係数をスケールし、予測値のセットのログロスを最小限に抑える。 これは、隆起回帰モデルに適合する過程で既に計算された量を利用して、名目追加の計算コストでスケーリングパラメータを見つける。
• 参考スコア（独自算出の注目度）: 7.532661545437305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Logistic regression is a ubiquitous method for probabilistic classification. However, the effectiveness of logistic regression depends upon careful and relatively computationally expensive tuning, especially for the regularisation hyperparameter, and especially in the context of high-dimensional data. We present a prevalidated ridge regression model that closely matches logistic regression in terms of classification error and log-loss, particularly for high-dimensional data, while being significantly more computationally efficient and having effectively no hyperparameters beyond regularisation. We scale the coefficients of the model so as to minimise log-loss for a set of prevalidated predictions derived from the estimated leave-one-out cross-validation error. This exploits quantities already computed in the course of fitting the ridge regression model in order to find the scaling parameter with nominal additional computational expense.
• Abstract（参考訳）: ロジスティック回帰は確率的分類のユビキタスな方法である。 しかしながら、ロジスティック回帰の有効性は、特に正規化ハイパーパラメータ、特に高次元データの文脈において、慎重で比較的計算コストの高いチューニングに依存する。 本稿では,特に高次元データにおいて,ロジスティック回帰と分類誤差とログロスの両面で密に一致し,計算効率が著しく向上し,正規化以上のハイパーパラメータが効果的に存在しないことを示す。 モデルの係数をスケールして,推定残量1のクロスバリデーション誤差から導かれる事前評価された予測集合に対するログロスを最小化する。 これは、隆起回帰モデルに適合する過程で既に計算された量を利用して、名目追加の計算コストでスケーリングパラメータを見つける。

関連論文リスト

• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming [1.6874375111244329]
  本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。 提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1～2%以上よい結果を得た。
  論文  参考訳（メタデータ） (2024-01-16T16:45:51Z)
• Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond [3.782392436834913]
  本研究では,半教師付き深部ソボレフ回帰器であるSDOREを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。 我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。 また、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-09T13:10:30Z)
• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data [13.48481978963297]
  ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。 本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。 アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T05:12:42Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• A Locally Adaptive Interpretable Regression [7.4267694612331905]
  線形回帰は最も解釈可能な予測モデルの一つである。 本稿では,局所適応型解釈型回帰(LoAIR)を導入する。 我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
  論文  参考訳（メタデータ） (2020-05-07T09:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。