論文の概要: Asymptotic normality of robust risk minimizers
- arxiv url: http://arxiv.org/abs/2004.02328v4
- Date: Tue, 30 May 2023 19:32:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 04:57:42.226459
- Title: Asymptotic normality of robust risk minimizers
- Title（参考訳）: ロバストリスク最小化器の漸近正規性
- Authors: Stanislav Minsker
- Abstract要約: 本稿では,古典的経験的リスクのロバストな類似と見なせるアルゴリズムの特性について検討する。
幅広いパラメトリック問題に対して、適切に定義されたリスクのロバストプロキシの最小化は、同じ速度で真のリスクの最小化に収束することを示す。
- 参考スコア（独自算出の注目度）: 2.0432586732993374
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates asymptotic properties of algorithms that can be
viewed as robust analogues of the classical empirical risk minimization. These
strategies are based on replacing the usual empirical average by a robust proxy
of the mean, such as the (version of) the median of means estimator. It is well
known by now that the excess risk of resulting estimators often converges to
zero at optimal rates under much weaker assumptions than those required by
their ``classical'' counterparts. However, less is known about the asymptotic
properties of the estimators themselves, for instance, whether robust analogues
of the maximum likelihood estimators are asymptotically efficient. We make a
step towards answering these questions and show that for a wide class of
parametric problems, minimizers of the appropriately defined robust proxy of
the risk converge to the minimizers of the true risk at the same rate, and
often have the same asymptotic variance, as the estimators obtained by
minimizing the usual empirical risk.
- Abstract（参考訳）: 本稿では,古典的経験的リスク最小化の頑健な類似と見なせるアルゴリズムの漸近特性について検討する。
これらの戦略は、平均推定器の中央値(反転)のような平均の堅牢なプロキシによって、通常の経験的平均を置き換えることに基づいている。
結果として生じる推定子の過剰なリスクは、しばしば「古典的」な仮定よりもはるかに弱い仮定の下で最適な速度でゼロに収束することが知られている。
しかし、最大極大推定器のロバストなアナログが漸近的に効率的かどうかなど、推定器自体の漸近的性質についてはあまり知られていない。
我々はこれらの疑問に答え、幅広いパラメトリックな問題に対して、リスクの適切に定義されたロバストなプロキシの最小化が、同じ速度で真のリスクの最小化に収束し、通常の経験的リスクを最小化して得られる推定値と同じ漸近的な分散を持つことを示す。
関連論文リスト
- Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。
経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。
検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
論文 参考訳（メタデータ） (2024-09-30T04:02:52Z) - Empirical Risk Minimization for Losses without Variance [26.30435936379624]
重み付けされた条件下では、データは有限分散を持たないが、$p in (1,2)$で$p$のモーメントしか持たない経験的リスク問題を考察する。
トランカットされた観測データに基づいて推定を行う代わりに,リスク値の最小化による最小化を選択する。
これらのリスク値は、顕著なカトニ法(Catoni, 2012)を用いて、頑健に推定できる。
論文 参考訳（メタデータ） (2023-09-07T16:14:00Z) - Domain Generalization without Excess Empirical Risk [83.26052467843725]
一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。
我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。
我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
論文 参考訳（メタデータ） (2023-08-30T08:46:46Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - Empirical Risk Minimization with Relative Entropy Regularization:
Optimality and Sensitivity Analysis [7.953455469099826]
ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。
感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
論文 参考訳（メタデータ） (2022-02-09T10:55:14Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。
3つの設定でミニマックスレート・オプティマティックな手順を開発。
論文 参考訳（メタデータ） (2021-01-19T18:55:29Z) - Risk of the Least Squares Minimum Norm Estimator under the Spike
Covariance Model [0.0]
パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。
この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
論文 参考訳（メタデータ） (2019-12-31T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。