論文の概要: A Researcher's Guide to Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2602.21501v2
• Date: Tue, 03 Mar 2026 16:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-04 14:54:12.343359
• Title: A Researcher's Guide to Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化のための研究者ガイド
• Authors: Lars van der Laan,
• Abstract要約: このガイドは、経験的リスク最小化における高い確率的後悔境界の参照を提供する。 直観と一般的な証明戦略から始まり、ハイレベルな条件下で広く適用可能な保証を行う。
• 参考スコア（独自算出の注目度）: 3.891921282474929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This guide provides a reference for high-probability regret bounds in empirical risk minimization (ERM). The presentation is modular: we begin with intuition and general proof strategies, then state broadly applicable guarantees under high-level conditions and provide tools for verifying them for specific losses and function classes. We emphasize that many ERM rate derivations can be organized around a three-step recipe -- a basic inequality, a uniform local concentration bound, and a fixed-point argument -- which yields regret bounds in terms of a critical radius, defined via localized Rademacher complexity, under a mild Bernstein-type variance-risk condition. To make these bounds concrete, we upper bound the critical radius using local maximal inequalities and metric-entropy integrals, thereby recovering familiar rates for VC-subgraph, Sobolev/Hölder, and bounded-variation classes. We also study ERM with nuisance components -- including weighted ERM and Neyman-orthogonal losses -- as they arise in causal inference, missing data, and domain adaptation. Following the orthogonal statistical learning framework, we highlight that these problems often admit regret-transfer bounds linking regret under an estimated loss to population regret under the target loss. These bounds typically decompose the regret into (i) statistical error under the estimated loss and (ii) approximation error due to nuisance estimation. Under sample splitting or cross-fitting, the first term can be controlled using standard fixed-loss ERM regret bounds, while the second depends only on nuisance-estimation accuracy. As a novel contribution, we also treat the in-sample regime, in which the nuisances and the ERM are fit on the same data, deriving regret bounds and showing that fast oracle rates remain attainable under suitable smoothness and Donsker-type conditions.
• Abstract（参考訳）: このガイドは、経験的リスク最小化(ERM)における高い確率的後悔境界の参照を提供する。 プレゼンテーションはモジュール化されており、直観と一般的な証明戦略から始まり、ハイレベルな条件下で広く適用可能な保証を状態にし、特定の損失と関数クラスに対する検証ツールを提供する。 我々は,3段階のレシピ – 基本不等式,一様局所濃度境界,固定点引数 – に基づいて, 局所的ラデマッハ複雑性によって定義される臨界半径で, 軽度なベルンシュタイン型分散リスク条件の下で, 多くのERM速度導出が構成可能であることを強調した。 これらの境界を具体化するために、局所的な極大不等式と計量エントロピー積分を用いて臨界半径を上界にし、VC-部分グラフ、ソボレフ/ヘルダー、および有界偏差クラスに精通する速度を回復する。 また、因果推論、欠落データ、ドメイン適応で生じる重み付きEMMやNeyman-orthogonal lossなどのニュアンス成分を用いてERMを研究する。 直交的な統計学習の枠組みに従えば、これらの問題は、被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体を被写体が被写体が被写体を被写体が被写体が被写体が被写体が被写体であることを示す。 これらの境界は通常、後悔を分解する 一 推定損失及び推定損失の統計誤差 (ii)ニュアンス推定による近似誤差 サンプル分割やクロスフィッティングでは、第1項は標準固定損失ERM残差を用いて制御でき、第2項はニュアンス推定精度にのみ依存する。 新規な貢献として,内科医とERMが同一データに適合する内科的体制についても検討し,良好な滑らかさとドンスカー型条件下での高速オラクルレートが達成可能であることを示す。

関連論文リスト

• On the Generalization and Robustness in Conditional Value-at-Risk [12.253712889424584]
  重み付き汚染データに基づく条件付きリスク最小化(CVaR)の学習理論的解析法を開発した。 極小モーメント仮定の下で、鋭く高確率な一般化と過剰なリスク境界を確立する。 CVaR決定自体が本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T08:10:11Z)
• Learning bounds for doubly-robust covariate shift adaptation [8.24901041136559]
  トレーニングドメインとテストドメイン間の分散シフトは、マシンラーニングにとって重要な課題である。 Doubly-robust (DR) 推定器は、密度比推定とパイロット回帰モデルを組み合わせる。 本稿では,DR推定器の非漸近学習境界を初めて確立する。
  論文  参考訳（メタデータ） (2025-11-14T06:46:23Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Reweighting Improves Conditional Risk Bounds [12.944919903533957]
  一般に平衡性のあるベルンシュタイン条件の下では、ある部分領域において優れた性能を達成するために重み付きERM推定器を設計できることを示す。 本研究の成果は, 合成データ実験による証拠によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-04T18:16:21Z)
• Efficient Transfer Learning via Causal Bounds [8.981637739384674]
  我々は、因果側情報がどのようにオンライン学習を加速するかを分析し、データ削減の実験を行う。 我々の分析は、因果側情報がどのようにオンライン学習を加速させるか、およびデータ削減の実験を正確に特徴付ける。
  論文  参考訳（メタデータ） (2023-08-07T13:24:50Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [57.63331017830154]
  経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。 比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。