論文の概要: Error Exponent in Agnostic PAC Learning
- arxiv url: http://arxiv.org/abs/2405.00792v1
- Date: Wed, 1 May 2024 18:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 20:42:37.142105
- Title: Error Exponent in Agnostic PAC Learning
- Title（参考訳）: Agnostic PAC学習における誤差指数
- Authors: Adi Hendel, Meir Feder,
- Abstract要約: おそらく略正解(PAC)は、学習問題やアルゴリズムの分析に広く用いられている。
本稿では,情報理論における誤り指数を用いたPAC学習について考察する。
いくつかの仮定では、幅広い問題に対する分散依存誤差指数の改善が見られ、学習におけるPAC誤差確率の指数的挙動が確立される。
- 参考スコア（独自算出の注目度）: 4.772817128620037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical learning theory and the Probably Approximately Correct (PAC) criterion are the common approach to mathematical learning theory. PAC is widely used to analyze learning problems and algorithms, and have been studied thoroughly. Uniform worst case bounds on the convergence rate have been well established using, e.g., VC theory or Radamacher complexity. However, in a typical scenario the performance could be much better. In this paper, we consider PAC learning using a somewhat different tradeoff, the error exponent - a well established analysis method in Information Theory - which describes the exponential behavior of the probability that the risk will exceed a certain threshold as function of the sample size. We focus on binary classification and find, under some stability assumptions, an improved distribution dependent error exponent for a wide range of problems, establishing the exponential behavior of the PAC error probability in agnostic learning. Interestingly, under these assumptions, agnostic learning may have the same error exponent as realizable learning. The error exponent criterion can be applied to analyze knowledge distillation, a problem that so far lacks a theoretical analysis.
- Abstract（参考訳）: 統計的学習理論と確率的近似(PAC)基準は、数学的学習理論に対する一般的なアプローチである。
PACは学習問題やアルゴリズムの分析に広く使われ、徹底的に研究されている。
収束率に関する一様最悪のケース境界は、例えばVC理論やラダマッハの複雑性を用いてよく確立されている。
しかし、典型的なシナリオでは、パフォーマンスの方がずっと良いでしょう。
本稿では, リスクがサンプルサイズの関数として一定の閾値を超える確率の指数的挙動を記述した, 誤り指数(情報理論におけるよく確立された解析手法)を用いたPAC学習について考察する。
我々は二項分類に焦点をあて、いくつかの安定性仮定の下で、幅広い問題に対する分布依存誤差指数の改善を行い、不可知学習におけるPAC誤差確率の指数的挙動を確立した。
興味深いことに、これらの仮定の下では、不可知学習は実現可能な学習と同じエラー指数を持つかもしれない。
誤差指数基準を知識蒸留の分析に適用することは、これまでのところ理論的解析に欠ける問題である。
関連論文リスト
- Is Transductive Learning Equivalent to PAC Learning? [0.9012198585960443]
PACモデルとトランスダクティブモデルは、本質的には非依存のバイナリ分類に等価であることを示す。
我々は,2番目の結果が2進分類を超えて拡張可能かどうかという興味深い疑問を残して,トランスダクティブモデルとPACモデルがより広範に等価であることを示す。
論文 参考訳（メタデータ） (2024-05-08T16:26:49Z) - On Learning Latent Models with Multi-Instance Weak Supervision [57.18649648182171]
本稿では,複数の入力インスタンスに関連付けられた遷移関数$sigma$ラベルによって,教師信号が生成される弱い教師付き学習シナリオについて考察する。
我々の問題は、潜在的な構造学習やニューロシンボリックな統合など、さまざまな分野で満たされている。
論文 参考訳（メタデータ） (2023-06-23T22:05:08Z) - Learnability, Sample Complexity, and Hypothesis Class Complexity for
Regression Models [10.66048003460524]
この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。
提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。
これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
論文 参考訳（メタデータ） (2023-03-28T15:59:12Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - On the Generalization for Transfer Learning: An Information-Theoretic Analysis [8.102199960821165]
一般化誤差と転帰学習アルゴリズムの過大なリスクを情報理論で解析する。
我々の結果は、おそらく予想通り、Kulback-Leibler divergenceD(mu|mu')$がキャラクタリゼーションにおいて重要な役割を果たすことを示唆している。
次に、$phi$-divergence や Wasserstein 距離といった他の発散点と結びついた相互情報を一般化する。
論文 参考訳（メタデータ） (2022-07-12T08:20:41Z) - Excess risk analysis for epistemic uncertainty with application to
variational inference [110.4676591819618]
我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。
一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。
本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
論文 参考訳（メタデータ） (2022-06-02T12:12:24Z) - PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy
and Negative log-loss [28.166066663983674]
分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。
分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。
本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
論文 参考訳（メタデータ） (2021-12-10T14:00:22Z) - Characterizing the Generalization Error of Gibbs Algorithm with
Symmetrized KL information [18.92529916180208]
教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。
我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
論文 参考訳（メタデータ） (2021-07-28T22:20:34Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳（メタデータ） (2020-10-11T13:12:41Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Probably Approximately Correct Constrained Learning [135.48447120228658]
我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。
PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。
このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
論文 参考訳（メタデータ） (2020-06-09T19:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。