論文の概要: Monotonic Learning in the PAC Framework: A New Perspective

• arxiv url: http://arxiv.org/abs/2501.05493v1
• Date: Thu, 09 Jan 2025 12:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:26:59.292347
• Title: Monotonic Learning in the PAC Framework: A New Perspective
• Title（参考訳）: PACフレームワークにおけるモノトニックラーニング:新しい視点
• Authors: Ming Li, Chenyi Zhang, Qin Li,
• Abstract要約: モノトーン学習(Monotone learning)とは、より多くのトレーニングデータを導入すると、期待されるパフォーマンスが継続的に向上する学習プロセスを指す。 本稿では,PAC学習理論の枠組みの中で,単調学習の課題に取り組む。 低境界分布を計算することにより、有限サイズまたは有限VC次元の仮説空間を持つPAC学習可能問題を与えられた場合、経験的リスク最小化(ERM)に基づく学習アルゴリズムは単調であることを示すことができる。
• 参考スコア（独自算出の注目度）: 8.911102248548206
• License:
• Abstract: Monotone learning refers to learning processes in which expected performance consistently improves as more training data is introduced. Non-monotone behavior of machine learning has been the topic of a series of recent works, with various proposals that ensure monotonicity by applying transformations or wrappers on learning algorithms. In this work, from a different perspective, we tackle the topic of monotone learning within the framework of Probably Approximately Correct (PAC) learning theory. Following the mechanism that estimates sample complexity of a PAC-learnable problem, we derive a performance lower bound for that problem, and prove the monotonicity of that bound as the sample sizes increase. By calculating the lower bound distribution, we are able to prove that given a PAC-learnable problem with a hypothesis space that is either of finite size or of finite VC dimension, any learning algorithm based on Empirical Risk Minimization (ERM) is monotone if training samples are independent and identically distributed (i.i.d.). We further carry out an experiment on two concrete machine learning problems, one of which has a finite hypothesis set, and the other of finite VC dimension, and compared the experimental data for the empirical risk distributions with the estimated theoretical bound. The results of the comparison have confirmed the monotonicity of learning for the two PAC-learnable problems.
• Abstract（参考訳）: モノトーン学習(Monotone learning)とは、より多くのトレーニングデータを導入すると、期待されるパフォーマンスが継続的に向上する学習プロセスを指す。 機械学習の非単調な振る舞いは最近の一連の研究のトピックであり、学習アルゴリズムに変換やラッパーを適用することで単調性を保証する様々な提案がある。 この研究は、異なる観点から、確率的近似学習理論(PAC)の枠組みの中で、単調学習のトピックに取り組む。 PAC学習可能問題の標本複雑性を推定するメカニズムに従うと、その問題に対する性能低下を導出し、サンプルサイズが大きくなるにつれてその境界の単調性を証明する。 低界分布を計算することにより、有限サイズまたは有限VC次元の仮説空間を持つPAC学習可能問題に対して、トレーニングサンプルが独立で同一に分布している場合、経験的リスク最小化(ERM)に基づく学習アルゴリズムが単調であることを証明することができる(つまり、d)。 さらに, 有限仮説と有限VC次元の2つの具体的機械学習問題について実験を行い, 経験的リスク分布に関する実験データを推定理論境界と比較した。 比較の結果,2つのPAC学習可能問題に対する学習の単調性が確認された。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Sample-Efficient Learning of POMDPs with Multiple Observations In Hindsight [105.6882315781987]
  本稿では,部分観測可能なマルコフ決定過程(POMDP)における学習のサンプル効率について検討する。 「ゲームプレイにおけるローディングのような現実世界の設定に動機付けられて、後視における多重観察と呼ばれる強化されたフィードバックモデルを提案する。」 我々は,POMDPの2つのサブクラスに対して,サンプル効率の学習が可能であることを示した。
  論文  参考訳（メタデータ） (2023-07-06T09:39:01Z)
• Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models [10.66048003460524]
  この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。 これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
  論文  参考訳（メタデータ） (2023-03-28T15:59:12Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。