論文の概要: Universal Rates of ERM for Agnostic Learning

• arxiv url: http://arxiv.org/abs/2506.14110v1
• Date: Tue, 17 Jun 2025 02:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.289502
• Title: Universal Rates of ERM for Agnostic Learning
• Title（参考訳）: 不可知学習のためのEMMのユニバーサルレート
• Authors: Steve Hanneke, Mingyue Xu,
• Abstract要約: 実証的リスク最小化原理はPAC理論の基本であり、実践的な機械学習においてユビキタスである。 我々は、agnostic universal rateの可能性を探求し、$e-n$、$o(n-1/2)$、または任意に遅くする。
• 参考スコア（独自算出の注目度）: 15.001378595582269
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The universal learning framework has been developed to obtain guarantees on the learning rates that hold for any fixed distribution, which can be much faster than the ones uniformly hold over all the distributions. Given that the Empirical Risk Minimization (ERM) principle being fundamental in the PAC theory and ubiquitous in practical machine learning, the recent work of arXiv:2412.02810 studied the universal rates of ERM for binary classification under the realizable setting. However, the assumption of realizability is too restrictive to hold in practice. Indeed, the majority of the literature on universal learning has focused on the realizable case, leaving the non-realizable case barely explored. In this paper, we consider the problem of universal learning by ERM for binary classification under the agnostic setting, where the ''learning curve" reflects the decay of the excess risk as the sample size increases. We explore the possibilities of agnostic universal rates and reveal a compact trichotomy: there are three possible agnostic universal rates of ERM, being either $e^{-n}$, $o(n^{-1/2})$, or arbitrarily slow. We provide a complete characterization of which concept classes fall into each of these categories. Moreover, we also establish complete characterizations for the target-dependent universal rates as well as the Bayes-dependent universal rates.
• Abstract（参考訳）: 普遍的な学習フレームワークは、任意の固定分布に対して保持する学習率の保証を得るために開発されており、全ての分布に対して均一に保持する学習速度よりもはるかに高速である。 経験的リスク最小化(ERM)の原理がPAC理論の基本であり、実践的な機械学習においてユビキタスであることを考えると、arXiv:2412.02810の最近の研究は、実現可能な条件下での二項分類におけるERMの普遍的な速度について研究している。 しかし、実現可能性の仮定は、実際には保たれるには制限的すぎる。 実際、普遍的な学習に関する文献の大半は、実現可能なケースに焦点を合わせており、実現不可能なケースはほとんど探索されていない。 本稿では,「学習曲線」がサンプルサイズの増加とともに余剰リスクの減衰を反映する二項分類におけるERMによる普遍的学習の問題点を考察する。 e^{-n}$, $o(n^{-1/2})$, あるいは任意に遅いのである。 これらのカテゴリにどの概念クラスが該当するかについて、完全な特徴付けを提供する。 さらに、ターゲット依存の普遍レートとベイズ依存の普遍レートの完全な特徴付けも確立する。

関連論文リスト

• Universal Rates of Empirical Risk Minimization [15.001378595582269]
  本研究では,経験的リスク (ERM) による普遍的学習の課題について検討する。 ERMによる普遍的な学習率は4つしかない、すなわち、ERMが学習可能な任意の概念クラスの学習曲線は、$e-n$、$/n$、$log(n)/n$、または任意に遅いレートで崩壊する。
  論文  参考訳（メタデータ） (2024-12-03T20:20:39Z)
• Rethinking Multi-domain Generalization with A General Learning Objective [17.155829981870045]
  マルチドメイン一般化(mDG)は、トレーニングとテストディストリビューションの相違を最小限にすることを目的としている。 既存のmDG文献には、一般的な学習目標パラダイムが欠けている。 制約緩和に$Y$-mappingを活用することを提案する。
  論文  参考訳（メタデータ） (2024-02-29T05:00:30Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• A Universal Unbiased Method for Classification from Aggregate Observations [115.20235020903992]
  本稿では,任意の損失に対する分類リスクを非バイアスで推定するCFAOの普遍的手法を提案する。 提案手法は,非バイアスリスク推定器によるリスクの整合性を保証するだけでなく,任意の損失に対応できる。
  論文  参考訳（メタデータ） (2023-06-20T07:22:01Z)
• On the Stability and Generalization of Triplet Learning [55.75784102837832]
  トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。 本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
  論文  参考訳（メタデータ） (2023-02-20T07:32:50Z)
• Practical Approaches for Fair Learning with Multitype and Multivariate Sensitive Attributes [70.6326967720747]
  現実世界に展開された機械学習アルゴリズムが不公平さや意図しない社会的結果をもたらすことはないことを保証することが重要である。 本稿では,カーネルHilbert Spacesの相互共分散演算子上に構築されたフェアネス尺度であるFairCOCCOを紹介する。 実世界のデータセットにおける予測能力と公正性のバランスをとる上で、最先端技術に対する一貫した改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-11-11T11:28:46Z)
• Multiclass Learnability Beyond the PAC Framework: Universal Rates and Partial Concept Classes [31.2676304636432]
  本研究では,有界なラベル数$k$の多クラス分類の問題について,実現可能な設定で検討する。 従来のPACモデルを(a)分布依存学習率、(b)データ依存仮定下での学習率に拡張する。
  論文  参考訳（メタデータ） (2022-10-05T14:36:27Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。