論文の概要: On the Variance, Admissibility, and Stability of Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2305.18508v1
• Date: Mon, 29 May 2023 15:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 19:54:34.701799
• Title: On the Variance, Admissibility, and Stability of Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化のばらつき,適応性,安定性について
• Authors: Gil Kur, Eli Putterman and Alexander Rakhlin
• Abstract要約: 2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
• 参考スコア（独自算出の注目度）: 80.26309576810844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known that Empirical Risk Minimization (ERM) with squared loss may attain minimax suboptimal error rates (Birg\'e and Massart, 1993). The key message of this paper is that, under mild assumptions, the suboptimality of ERM must be due to large bias rather than variance. More precisely, in the bias-variance decomposition of the squared error of the ERM, the variance term necessarily enjoys the minimax rate. In the case of fixed design, we provide an elementary proof of this fact using the probabilistic method. Then, we prove this result for various models in the random design setting. In addition, we provide a simple proof of Chatterjee's admissibility theorem (Chatterjee, 2014, Theorem 1.4), which states that ERM cannot be ruled out as an optimal method, in the fixed design setting, and extend this result to the random design setting. We also show that our estimates imply stability of ERM, complementing the main result of Caponnetto and Rakhlin (2006) for non-Donsker classes. Finally, we show that for non-Donsker classes, there are functions close to the ERM, yet far from being almost-minimizers of the empirical loss, highlighting the somewhat irregular nature of the loss landscape.
• Abstract（参考訳）: 二乗損失を持つ経験的リスク最小化(ERM)が極小最適誤差率を達成することはよく知られている(Birg\'e and Massart, 1993)。 本論文の重要なメッセージは、軽微な仮定の下では、ERMの準最適性は分散よりも大きなバイアスによるものでなければならないということである。 より正確には、ERMの2乗誤差のバイアス分散分解において、分散項は必ずしもミニマックスレートを楽しむ。 固定設計の場合、確率的手法を用いて、この事実の基本的な証明を提供する。 そして、ランダムな設計設定において、様々なモデルに対してこの結果を証明する。 さらに、chatterjee の許容性定理(chatterjee, 2014 theorem 1.4)の簡単な証明を提供し、固定設計設定において erm は最適な手法として除外できないとし、この結果をランダムな設計設定に拡張する。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。 最後に、非Donskerクラスでは、ERMに近い関数が存在するが、経験的損失の最小化には程遠いことが示され、損失ランドスケープのやや不規則な性質が強調された。

関連論文リスト

• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Efficient Stochastic Approximation of Minimax Excess Risk Optimization [36.68685001551774]
  我々はMEROを直接対象とする効率的な近似手法を開発した。 最小リスクの推定誤差に起因するバイアスが制御下にあることを示す。 また,各分布から抽出したサンプルの量が異なる場合の現実的シナリオについても検討し,分布依存収束率を導出する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T02:21:11Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Does Invariant Risk Minimization Capture Invariance? [23.399091822468407]
  我々は、Arjovskyらの不変リスク最小化(IRM)の定式化を示す。 自然」不変性を捕捉できないことがある。 これは新しい環境の一般化を悪化させる可能性がある。
  論文  参考訳（メタデータ） (2021-01-04T18:02:45Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。