論文の概要: Monotonic Learning in the PAC Framework: A New Perspective

• arxiv url: http://arxiv.org/abs/2501.05493v1
• Date: Thu, 09 Jan 2025 12:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 18:34:15.038641
• Title: Monotonic Learning in the PAC Framework: A New Perspective
• Title（参考訳）: PACフレームワークにおけるモノトニックラーニング:新しい視点
• Authors: Ming Li, Chenyi Zhang, Qin Li,
• Abstract要約: モノトーン学習(Monotone learning)とは、より多くのトレーニングデータを導入すると、期待されるパフォーマンスが継続的に向上する学習プロセスを指す。 本稿では,PAC学習理論の枠組みの中で,単調学習の課題に取り組む。 低境界分布を計算することにより、有限サイズまたは有限VC次元の仮説空間を持つPAC学習可能問題を与えられた場合、経験的リスク最小化(ERM)に基づく学習アルゴリズムは単調であることを示すことができる。
• 参考スコア（独自算出の注目度）: 8.911102248548206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monotone learning refers to learning processes in which expected performance consistently improves as more training data is introduced. Non-monotone behavior of machine learning has been the topic of a series of recent works, with various proposals that ensure monotonicity by applying transformations or wrappers on learning algorithms. In this work, from a different perspective, we tackle the topic of monotone learning within the framework of Probably Approximately Correct (PAC) learning theory. Following the mechanism that estimates sample complexity of a PAC-learnable problem, we derive a performance lower bound for that problem, and prove the monotonicity of that bound as the sample sizes increase. By calculating the lower bound distribution, we are able to prove that given a PAC-learnable problem with a hypothesis space that is either of finite size or of finite VC dimension, any learning algorithm based on Empirical Risk Minimization (ERM) is monotone if training samples are independent and identically distributed (i.i.d.). We further carry out an experiment on two concrete machine learning problems, one of which has a finite hypothesis set, and the other of finite VC dimension, and compared the experimental data for the empirical risk distributions with the estimated theoretical bound. The results of the comparison have confirmed the monotonicity of learning for the two PAC-learnable problems.
• Abstract（参考訳）: モノトーン学習(Monotone learning)とは、より多くのトレーニングデータを導入すると、期待されるパフォーマンスが継続的に向上する学習プロセスを指す。 機械学習の非単調な振る舞いは最近の一連の研究のトピックであり、学習アルゴリズムに変換やラッパーを適用することで単調性を保証する様々な提案がある。 この研究は、異なる観点から、確率的近似学習理論(PAC)の枠組みの中で、単調学習のトピックに取り組む。 PAC学習可能問題の標本複雑性を推定するメカニズムに従うと、その問題に対する性能低下を導出し、サンプルサイズが大きくなるにつれてその境界の単調性を証明する。 低界分布を計算することにより、有限サイズまたは有限VC次元の仮説空間を持つPAC学習可能問題に対して、トレーニングサンプルが独立で同一に分布している場合、経験的リスク最小化(ERM)に基づく学習アルゴリズムが単調であることを証明することができる(つまり、d)。 さらに, 有限仮説と有限VC次元の2つの具体的機械学習問題について実験を行い, 経験的リスク分布に関する実験データを推定理論境界と比較した。 比較の結果,2つのPAC学習可能問題に対する学習の単調性が確認された。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• Sample-Efficient Learning of POMDPs with Multiple Observations In Hindsight [105.6882315781987]
  本稿では,部分観測可能なマルコフ決定過程(POMDP)における学習のサンプル効率について検討する。 「ゲームプレイにおけるローディングのような現実世界の設定に動機付けられて、後視における多重観察と呼ばれる強化されたフィードバックモデルを提案する。」 我々は,POMDPの2つのサブクラスに対して,サンプル効率の学習が可能であることを示した。
  論文  参考訳（メタデータ） (2023-07-06T09:39:01Z)
• Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models [10.66048003460524]
  この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。 これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
  論文  参考訳（メタデータ） (2023-03-28T15:59:12Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Generalized Label Shift Correction via Minimum Uncertainty Principle: Theory and Algorithm [20.361516866096007]
  一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。 これらの課題に対処するための条件適応フレームワークを提案する。 実験結果から,提案モデルが競争性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-02-26T02:39:47Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)
• Theoretical Analysis of Divide-and-Conquer ERM: Beyond Square Loss and RKHS [20.663792705336483]
  一般損失関数と仮説空間に対する分散経験的リスク最小化(ERM)のリスク性能について検討する。 まず、仮説空間上のいくつかの基本的な仮定の下で、滑らかさ、リプシッツ連続性、損失関数の強い凸性、という2つの厳密なリスク境界を導出する。 第2に、強い凸性を制限することなく、分散ERMに対してより一般的なリスクバウンドを開発する。
  論文  参考訳（メタデータ） (2020-03-09T01:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。