論文の概要: On the Variance, Admissibility, and Stability of Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2305.18508v2
• Date: Sun, 02 Nov 2025 02:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 18:19:02.605169
• Title: On the Variance, Admissibility, and Stability of Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化のばらつき,適応性,安定性について
• Authors: Gil Kur, Eli Putterman, Alexander Rakhlin,
• Abstract要約: 経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。 比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
• 参考スコア（独自算出の注目度）: 57.63331017830154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known that Empirical Risk Minimization (ERM) may attain minimax suboptimal rates in terms of the mean squared error (Birg\'e and Massart, 1993). In this paper, we prove that, under relatively mild assumptions, the suboptimality of ERM must be due to its large bias. Namely, the variance error term of ERM is bounded by the minimax rate. In the fixed design setting, we provide an elementary proof of this result using the probabilistic method. Then, we extend our proof to the random design setting for various models. In addition, we provide a simple proof of Chatterjee's admissibility theorem (Chatterjee, 2014, Theorem 1.4), which states that in the fixed design setting, ERM cannot be ruled out as an optimal method, and then we extend this result to the random design setting. We also show that our estimates imply the stability of ERM, complementing the main result of Caponnetto and Rakhlin (2006) for non-Donsker classes. Finally, we highlight the somewhat irregular nature of the loss landscape of ERM in the non-Donsker regime, by showing that functions can be close to ERM, in terms of $L_2$ distance, while still being far from almost-minimizers of the empirical loss.
• Abstract（参考訳）: 経験的リスク最小化(ERM)が平均二乗誤差(Birg\'e and Massart, 1993)で最小値の最適値に達することはよく知られている。 本稿では,比較的軽度な仮定の下では,ERMの準最適性はその大きなバイアスによるものでなければならないことを示す。 すなわち、EMMの分散誤差項はミニマックスレートによって制限される。 固定設計では、確率的手法を用いてこの結果の基本的な証明を行う。 そこで我々は,様々なモデルに対するランダムな設計設定に証明を拡張した。 さらに、Chatterjeeの許容可能性定理(Chatterjee, 2014 Theorem 1.4)の簡単な証明として、固定設計設定では、ERMを最適な方法として除外することができず、その結果をランダム設計設定に拡張する。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。 最後に,非ドンスカー系におけるERMの損失景観の幾らか不規則な性質を強調し,実測損失の最小化には程遠いが,その関数は距離$L_2$でERMに近づくことができることを示した。

関連論文リスト

• Reweighting Improves Conditional Risk Bounds [12.944919903533957]
  一般に平衡性のあるベルンシュタイン条件の下では、ある部分領域において優れた性能を達成するために重み付きERM推定器を設計できることを示す。 本研究の成果は, 合成データ実験による証拠によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-04T18:16:21Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Efficient Stochastic Approximation of Minimax Excess Risk Optimization [36.68685001551774]
  我々はMEROを直接対象とする効率的な近似手法を開発した。 最小リスクの推定誤差に起因するバイアスが制御下にあることを示す。 また,各分布から抽出したサンプルの量が異なる場合の現実的シナリオについても検討し,分布依存収束率を導出する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T02:21:11Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Does Invariant Risk Minimization Capture Invariance? [23.399091822468407]
  我々は、Arjovskyらの不変リスク最小化(IRM)の定式化を示す。 自然」不変性を捕捉できないことがある。 これは新しい環境の一般化を悪化させる可能性がある。
  論文  参考訳（メタデータ） (2021-01-04T18:02:45Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。