論文の概要: Beyond Ridge Regression for Distribution-Free Data
- arxiv url: http://arxiv.org/abs/2206.08757v1
- Date: Fri, 17 Jun 2022 13:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 20:40:24.853954
- Title: Beyond Ridge Regression for Distribution-Free Data
- Title（参考訳）: 分布自由データのためのリッジ回帰
- Authors: Koby Bibas and Meir Feder
- Abstract要約: 正規化最大可能性 (pNML) は、データ上に分布の仮定が作成されない分布自由設定に対する min-max 後悔解として提案されている。
仮説クラスに事前のような関数を適用することで、その有効サイズが減少する。
尾根回帰経験的リスク最小化器(Ridge ERM)によるLpNML予測と関連するpNML
我々のLpNMLは、PMLB集合のリッジERM誤差を最大20%低減し、
- 参考スコア（独自算出の注目度）: 8.523307608620094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In supervised batch learning, the predictive normalized maximum likelihood
(pNML) has been proposed as the min-max regret solution for the
distribution-free setting, where no distributional assumptions are made on the
data. However, the pNML is not defined for a large capacity hypothesis class as
over-parameterized linear regression. For a large class, a common approach is
to use regularization or a model prior. In the context of online prediction
where the min-max solution is the Normalized Maximum Likelihood (NML), it has
been suggested to use NML with ``luckiness'': A prior-like function is applied
to the hypothesis class, which reduces its effective size. Motivated by the
luckiness concept, for linear regression we incorporate a luckiness function
that penalizes the hypothesis proportionally to its l2 norm. This leads to the
ridge regression solution. The associated pNML with luckiness (LpNML)
prediction deviates from the ridge regression empirical risk minimizer (Ridge
ERM): When the test data reside in the subspace corresponding to the small
eigenvalues of the empirical correlation matrix of the training data, the
prediction is shifted toward 0. Our LpNML reduces the Ridge ERM error by up to
20% for the PMLB sets, and is up to 4.9% more robust in the presence of
distribution shift compared to recent leading methods for UCI sets.
- Abstract（参考訳）: 教師付きバッチ学習では、データに分布仮定を課さない分布自由設定に対するmin-max後悔解として、予測正規化最大可能性(pNML)が提案されている。
しかし、pnmlは超パラメータ線形回帰として大容量仮説クラスでは定義されていない。
大規模なクラスの場合、一般的なアプローチは正規化や事前モデルを使用することである。
min-max の解が正規化最大等式 (NML) であるオンライン予測の文脈では、NML を `luckiness'' で使用することが提案されている。
幸運の概念に動機づけられた線形回帰に対しては、仮説を l2 ノルムに比例する運の関数を組み込む。
これによりリッジ回帰解が導かれる。
関連するpNML(LpNML)予測は、リッジ回帰経験的リスク最小化器(Ridge ERM)から逸脱する: トレーニングデータの経験的相関行列の小さな固有値に対応する部分空間にテストデータが駐在すると、その予測は0。
我々のLpNMLは、PMLB集合のリッジERM誤差を最大20%削減し、UCI集合の最近の先行手法と比較して、分布シフトの存在下では最大4.9%堅牢である。
関連論文リスト
- Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。
本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
論文 参考訳（メタデータ） (2024-10-01T04:27:07Z) - Deep Limit Model-free Prediction in Regression [0.0]
本稿では,DNN(Deep Neural Network)に基づくモデルフリーアプローチにより,一般的な回帰条件下での点予測と予測間隔を実現する。
提案手法は,特に最適点予測において,他のDNN法に比べて安定かつ正確である。
論文 参考訳（メタデータ） (2024-08-18T16:37:53Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳（メタデータ） (2021-07-05T12:44:39Z) - Rapid Risk Minimization with Bayesian Models Through Deep Learning
Approximation [9.93116974480156]
本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。
私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。
テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
論文 参考訳（メタデータ） (2021-03-29T15:08:25Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - The Predictive Normalized Maximum Likelihood for Over-parameterized
Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。
最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。
我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文 参考訳（メタデータ） (2021-02-14T15:49:04Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap [4.142720557665472]
リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-17T05:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。