論文の概要: Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized
Linear Models
- arxiv url: http://arxiv.org/abs/2206.04777v1
- Date: Thu, 9 Jun 2022 21:56:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 04:18:27.922406
- Title: Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized
Linear Models
- Title(参考訳): 一般化線形モデルにおけるロバスト学習のためのトリミング最大確率推定
- Authors: Weihao Kong, Rajat Sen, Pranjal Awasthi, Abhimanyu Das
- Abstract要約: 敵の汚職下での一般化線形モデル学習の問題点を考察する。
我々は, 線形モデルにおいて, トリミングされた反復最大極大推定器が極小極小最適リスクを達成できることを証明した。
- 参考スコア(独自算出の注目度): 33.43662223854747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of learning generalized linear models under adversarial
corruptions. We analyze a classical heuristic called the iterative trimmed
maximum likelihood estimator which is known to be effective against label
corruptions in practice. Under label corruptions, we prove that this simple
estimator achieves minimax near-optimal risk on a wide range of generalized
linear models, including Gaussian regression, Poisson regression and Binomial
regression. Finally, we extend the estimator to the more challenging setting of
label and covariate corruptions and demonstrate its robustness and optimality
in that setting as well.
- Abstract(参考訳): 敵の汚職下での一般化線形モデル学習の問題点を考察する。
我々は,ラベルの破損に対して有効であることが知られている反復トリミング最大度推定器と呼ばれる古典的ヒューリスティックを解析した。
ラベルの破損の下では、この単純な推定器はガウス回帰、ポアソン回帰、二項回帰を含む、幅広い一般化された線形モデルにおいて極小最適リスクを達成する。
最後に、評価対象をラベルと共変量の汚職のより困難な設定にまで拡張し、その設定における堅牢性と最適性を示す。
関連論文リスト
- Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。
さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。
我々は多種多様な高次元データにまたがって理論を検証する。
論文 参考訳(メタデータ) (2024-08-08T17:27:29Z) - Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。
卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。
我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
論文 参考訳(メタデータ) (2024-04-25T13:56:05Z) - Error Reduction from Stacked Regressions [12.657895453939298]
積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。
本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。
適応的縮小効果により、結果として生じる累積推定量は、最も優れた単一推定値よりも人口リスクが厳しく小さい。
論文 参考訳(メタデータ) (2023-09-18T15:42:12Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Distribution-Free Robust Linear Regression [5.532477732693]
共変体の分布を仮定せずにランダムな設計線形回帰を研究する。
最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。
我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
論文 参考訳(メタデータ) (2021-02-25T15:10:41Z) - Online and Distribution-Free Robustness: Regression and Contextual
Bandits with Huber Contamination [29.85468294601847]
線形回帰と文脈的帯域幅という2つの古典的高次元オンライン学習問題を再考する。
従来の手法が失敗した場合にアルゴリズムが成功することを示す。
論文 参考訳(メタデータ) (2020-10-08T17:59:05Z) - Robust regression with covariate filtering: Heavy tails and adversarial
contamination [6.939768185086755]
より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。
この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
論文 参考訳(メタデータ) (2020-09-27T22:48:48Z) - Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap [4.142720557665472]
リッジレグレッションは、デバイアスとしきい値の設定の後、Lassoに対していくつかの利点をもたらすので、見直す価値があるかもしれない。
本稿では,デバイアス付き及びしきい値付きリッジ回帰法を定義し,一貫性とガウス近似の定理を証明した。
推定に加えて予測の問題も考慮し,予測間隔に合わせた新しいハイブリッドブートストラップアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-17T05:04:10Z) - Understanding and Mitigating the Tradeoff Between Robustness and
Accuracy [88.51943635427709]
逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。
拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
論文 参考訳(メタデータ) (2020-02-25T08:03:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。