論文の概要: Asymptotic normality of robust risk minimizers

• arxiv url: http://arxiv.org/abs/2004.02328v3
• Date: Fri, 5 Jun 2020 21:26:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 13:22:19.560501
• Title: Asymptotic normality of robust risk minimizers
• Title（参考訳）: ロバストリスク最小化器の漸近正規性
• Authors: Stanislav Minsker
• Abstract要約: 本稿では、古典的経験的リスク最小化のロバストな類似と見なせるアルゴリズムのクラスの性質について検討する。 幅広い問題に対して、リスクの適切に定義されたロバストなプロキシの最小化は、同じ確率で真のリスクの最小化に収束し、しばしば、通常の経験的リスクを最小化して得られる推定値と同じ分散を持つことを示す。 以上の結果から,いわゆる"min-max"型プロシージャに基づくロバストなアルゴリズムが,直接リスク最小化に基づくアルゴリズムである可能性が示唆された。
• 参考スコア（独自算出の注目度）: 2.0432586732993374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates asymptotic properties of a class of algorithms that can be viewed as robust analogues of the classical empirical risk minimization. These strategies are based on replacing the usual empirical average by a robust proxy of the mean, such as the (version of) the median-of-means estimator. It is well known by now that the excess risk of resulting estimators often converges to 0 at optimal rates under much weaker assumptions than those required by their "classical" counterparts. However, much less is known about the asymptotic properties of the estimators themselves, for instance, whether robust analogues of the maximum likelihood estimators are asymptotically efficient. We make a step towards answering these questions and show that for a wide class of parametric problems, minimizers of the appropriately defined robust proxy of the risk converge to the minimizers of the true risk at the same rate, and often have the same asymptotic variance, as the estimators obtained by minimizing the usual empirical risk. Moreover, our results show that robust algorithms based on the so-called "min-max" type procedures in many cases provably outperform, is the asymptotic sense, algorithms based on direct risk minimization.
• Abstract（参考訳）: 本稿では,古典的経験的リスク最小化のロバストな類似と見なせるアルゴリズムのクラスにおける漸近特性について検討する。 これらの戦略は、平均の強固なプロキシによって通常の経験的平均を置き換えることに基づいている。 結果として生じる推定子の過剰なリスクは、しばしば「古典的」な仮定よりもはるかに弱い仮定の下で最適な速度で 0 に収束することが知られている。 しかし、最大極大推定器のロバストなアナログが漸近的に効率的かどうかなど、推定器自体の漸近的性質についてはあまり知られていない。 我々はこれらの疑問に答え、幅広いパラメトリックな問題に対して、リスクの適切に定義されたロバストなプロキシの最小化が、同じ速度で真のリスクの最小化に収束し、通常の経験的リスクを最小化して得られる推定値と同じ漸近的な分散を持つことを示す。 さらに,本研究では,いわゆる「min-max」型手順に基づくロバストアルゴリズムが,直接リスク最小化に基づく漸近的な意味であることを示す。

関連論文リスト

• Data-driven decision-making under uncertainty with entropic risk measure [5.407319151576265]
  エントロピーリスク尺度は、不確実な損失に関連する尾のリスクを考慮に入れた高い意思決定に広く用いられている。 経験的エントロピーリスク推定器を劣化させるため, 強く一貫したブートストラップ手法を提案する。 検証性能のバイアスが補正されない場合,クロスバリデーション手法は,保険業者のアウト・オブ・サンプルリスクを著しく高める可能性があることを示す。
  論文  参考訳（メタデータ） (2024-09-30T04:02:52Z)
• Empirical Risk Minimization for Losses without Variance [26.30435936379624]
  重み付けされた条件下では、データは有限分散を持たないが、$p in (1,2)$で$p$のモーメントしか持たない経験的リスク問題を考察する。 トランカットされた観測データに基づいて推定を行う代わりに,リスク値の最小化による最小化を選択する。 これらのリスク値は、顕著なカトニ法(Catoni, 2012)を用いて、頑健に推定できる。
  論文  参考訳（メタデータ） (2023-09-07T16:14:00Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Empirical Risk Minimization with Relative Entropy Regularization: Optimality and Sensitivity Analysis [7.953455469099826]
  ERM-RER問題の解からの偏差に対する期待される経験的リスクの感度について検討した。 感度の期待値は、モデルとデータセット間のラウタム情報の正方根によって、最大で一定の係数まで上限づけられている。
  論文  参考訳（メタデータ） (2022-02-09T10:55:14Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model [0.0]
  パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
  論文  参考訳（メタデータ） (2019-12-31T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。