論文の概要: A Researcher's Guide to Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2602.21501v1
• Date: Wed, 25 Feb 2026 02:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.674363
• Title: A Researcher's Guide to Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化のための研究者ガイド
• Authors: Lars van der Laan,
• Abstract要約: このガイドは、経験的リスク最小化のための高い確率的後悔境界を開発する。 高水準条件下では広く適用可能な保証を述べる。 特定の損失と関数クラスを検証するためのツールを提供します。
• 参考スコア（独自算出の注目度）: 3.891921282474929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This guide develops high-probability regret bounds for empirical risk minimization (ERM). The presentation is modular: we state broadly applicable guarantees under high-level conditions and give tools for verifying them for specific losses and function classes. We emphasize that many ERM rate derivations can be organized around a three-step recipe -- a basic inequality, a uniform local concentration bound, and a fixed-point argument -- which yields regret bounds in terms of a critical radius, defined via localized Rademacher complexity, under a mild Bernstein-type variance--risk condition. To make these bounds concrete, we upper bound the critical radius using local maximal inequalities and metric-entropy integrals, recovering familiar rates for VC-subgraph, Sobolev/Hölder, and bounded-variation classes. We also review ERM with nuisance components -- including weighted ERM and Neyman-orthogonal losses -- as they arise in causal inference, missing data, and domain adaptation. Following the orthogonal learning framework, we highlight that these problems often admit regret-transfer bounds linking regret under an estimated loss to population regret under the target loss. These bounds typically decompose regret into (i) statistical error under the estimated (optimized) loss and (ii) approximation error due to nuisance estimation. Under sample splitting or cross-fitting, the first term can be controlled using standard fixed-loss ERM regret bounds, while the second term depends only on nuisance-estimation accuracy. We also treat the in-sample regime, where nuisances and the ERM are fit on the same data, deriving regret bounds and giving sufficient conditions for fast rates.
• Abstract（参考訳）: このガイドは、経験的リスク最小化(ERM)のための高確率後悔境界を開発する。 ハイレベルな条件下で広く適用可能な保証を述べ、特定の損失と関数クラスに対する検証ツールを提供します。 我々は,3段階のレシピ – 基本不等式,一様局所濃度境界,固定点引数 – に基づいて, 局所的ラデマッハ複雑性によって定義される臨界半径で, 軽度なベルンシュタイン型分散リスク条件の下で, 多くのERM速度導出が構成可能であることを強調した。 これらの境界を具体化するために、局所的な極大不等式と計量エントロピー積分を用いて臨界半径を上界にし、VC-部分グラフ、ソボレフ/ヘルダー、および有界偏差クラスに慣れ親しんだ速度を回復する。 また、因果推論や欠落データ、ドメイン適応など、ERMの重み付きEMMやNeyman-orthogonal Lossなどのニュアンスコンポーネントも検討しています。 直交学習の枠組みに従えば、これらの問題は、被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体が被写体を被写体が被写体が被写体を被写体が被写体が被写体が被写体が被写体が被写体であることを示す。 これらの境界は通常後悔を分解する 一 推定損失(最適化損失)及び統計誤差 (ii)ニュアンス推定による近似誤差 サンプル分割やクロスフィッティングでは、第1項は標準固定損失ERM残差を用いて制御でき、第2項はニュアンス推定精度にのみ依存する。 我々はまた、内科医とERMが同じデータに適合し、後悔の限界を導き、速さに十分な条件を与える、内科の体制も扱う。

関連論文リスト

• On the Generalization and Robustness in Conditional Value-at-Risk [12.253712889424584]
  重み付き汚染データに基づく条件付きリスク最小化(CVaR)の学習理論的解析法を開発した。 極小モーメント仮定の下で、鋭く高確率な一般化と過剰なリスク境界を確立する。 CVaR決定自体が本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T08:10:11Z)
• Learning bounds for doubly-robust covariate shift adaptation [8.24901041136559]
  トレーニングドメインとテストドメイン間の分散シフトは、マシンラーニングにとって重要な課題である。 Doubly-robust (DR) 推定器は、密度比推定とパイロット回帰モデルを組み合わせる。 本稿では,DR推定器の非漸近学習境界を初めて確立する。
  論文  参考訳（メタデータ） (2025-11-14T06:46:23Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Reweighting Improves Conditional Risk Bounds [12.944919903533957]
  一般に平衡性のあるベルンシュタイン条件の下では、ある部分領域において優れた性能を達成するために重み付きERM推定器を設計できることを示す。 本研究の成果は, 合成データ実験による証拠によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-04T18:16:21Z)
• Efficient Transfer Learning via Causal Bounds [8.981637739384674]
  我々は、因果側情報がどのようにオンライン学習を加速するかを分析し、データ削減の実験を行う。 我々の分析は、因果側情報がどのようにオンライン学習を加速させるか、およびデータ削減の実験を正確に特徴付ける。
  論文  参考訳（メタデータ） (2023-08-07T13:24:50Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [57.63331017830154]
  経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。 比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
  重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。 我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。 結果として得られるアルゴリズム、GenDICEは単純で効果的である。
  論文  参考訳（メタデータ） (2020-02-21T00:27:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。