論文の概要: On the Minimal Error of Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2102.12066v1
• Date: Wed, 24 Feb 2021 04:47:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:37:41.934855
• Title: On the Minimal Error of Empirical Risk Minimization
• Title（参考訳）: 経験的リスク最小化の最小誤差について
• Authors: Gil Kur, Alexander Rakhlin
• Abstract要約: 回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
• 参考スコア（独自算出の注目度）: 90.09093901700754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the minimal error of the Empirical Risk Minimization (ERM) procedure in the task of regression, both in the random and the fixed design settings. Our sharp lower bounds shed light on the possibility (or impossibility) of adapting to simplicity of the model generating the data. In the fixed design setting, we show that the error is governed by the global complexity of the entire class. In contrast, in random design, ERM may only adapt to simpler models if the local neighborhoods around the regression function are nearly as complex as the class itself, a somewhat counter-intuitive conclusion. We provide sharp lower bounds for performance of ERM for both Donsker and non-Donsker classes. We also discuss our results through the lens of recent studies on interpolation in overparameterized models.
• Abstract（参考訳）: 本研究では,経験的リスク最小化(ERM)手順の回帰作業における最小誤差について,ランダムおよび固定設計設定の両方で検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。 固定設計では、エラーはクラス全体のグローバルな複雑さによって制御されていることを示す。 対照的に、ランダム設計では、ERMは回帰関数の周りの局所的な近傍がクラス自体とほぼ同じ複雑である場合にのみ、より単純なモデルに適応することができる。 我々は、Donskerクラスと非Donskerクラスの両方に対して、ERMの性能に鋭く低い境界を提供する。 また, 過パラメータモデルの補間に関する最近の研究のレンズを通して, 結果について考察する。

関連論文リスト

• Rethinking generalization of classifiers in separable classes scenarios and over-parameterized regimes [0.0]
  分離可能なクラスでは、トレーニングデータ n の数で「悪い」大域最小値の割合が指数関数的に減少することを示す。 本稿では,MNIST と CIFAR-10 の実験と整合した学習曲線を求める,真の誤差の密度分布のモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-22T10:12:57Z)
• Inverse Reinforcement Learning with Unknown Reward Model based on Structural Risk Minimization [9.44879308639364]
  逆強化学習(IRL)は通常、報酬関数のモデルが事前に特定され、パラメータのみを推定する。 単純化されたモデルは真の報酬関数を含まないが、高い複雑さを持つモデルは相当なコストと過度なリスクをもたらす。 本稿では,統計的学習から構造リスク最小化(SRM)手法を導入することで,このトレードオフに対処する。
  論文  参考訳（メタデータ） (2023-12-27T13:23:17Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• A Model-Based Method for Minimizing CVaR and Beyond [7.751691910877239]
  CVaR(Conditional Value-at-Risk)目標の最小化のために, Prox-linear 法の変種を開発した。 CVaRは最悪のケースのパフォーマンスを最小化することに焦点を当てたリスク尺度であり、損失の最上位量の平均として定義される。 機械学習では、そのようなリスク尺度はより堅牢なモデルをトレーニングするのに有用である。
  論文  参考訳（メタデータ） (2023-05-27T15:38:53Z)
• DAIR: Data Augmented Invariant Regularization [20.364846667289374]
  本稿では,データ拡張不変正規化(DAIR)を提案する。 DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。 ドメインシフトを含む複数の実世界の学習問題に適用する。
  論文  参考訳（メタデータ） (2021-10-21T15:30:40Z)
• A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
  マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。 混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-14T16:03:51Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• MMCGAN: Generative Adversarial Network with Explicit Manifold Prior [78.58159882218378]
  本稿では,モード崩壊を緩和し,GANのトレーニングを安定させるために,明示的な多様体学習を採用することを提案する。 玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。
  論文  参考訳（メタデータ） (2020-06-18T07:38:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。