論文の概要: Monotonic Learning in the PAC Framework: A New Perspective

• arxiv url: http://arxiv.org/abs/2501.05493v2
• Date: Tue, 20 May 2025 22:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.30295
• Title: Monotonic Learning in the PAC Framework: A New Perspective
• Title（参考訳）: PACフレームワークにおけるモノトニックラーニング:新しい視点
• Authors: Ming Li, Chenyi Zhang, Qin Li,
• Abstract要約: 学習アルゴリズムの実際の性能を近似する理論的リスク分布を構築した。 我々はこの理論分布が標本サイズが大きくなるにつれて単調性を示すことを厳密に証明する。
• 参考スコア（独自算出の注目度）: 8.911102248548206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monotone learning describes learning processes in which expected performance consistently improves as the amount of training data increases. However, recent studies challenge this conventional wisdom, revealing significant gaps in the understanding of generalization in machine learning. Addressing these gaps is crucial for advancing the theoretical foundations of the field. In this work, we utilize Probably Approximately Correct (PAC) learning theory to construct a theoretical risk distribution that approximates a learning algorithm's actual performance. We rigorously prove that this theoretical distribution exhibits monotonicity as sample sizes increase. We identify two scenarios under which deterministic algorithms based on Empirical Risk Minimization (ERM) are monotone: (1) the hypothesis space is finite, or (2) the hypothesis space has finite VC-dimension. Experiments on two classical learning problems validate our findings by demonstrating that the monotonicity of the algorithms' generalization error is guaranteed, as its theoretical risk upper bound monotonically converges to 0.
• Abstract（参考訳）: モノトーン学習は、トレーニングデータの量が増えるにつれて期待されるパフォーマンスが継続的に向上する学習プロセスを記述する。 しかし、近年の研究では、機械学習における一般化の理解に大きなギャップがあることが判明し、この従来の知恵に挑戦している。 これらのギャップに対処することは、この分野の理論的基礎を前進させるために不可欠である。 本研究では,確率的近似学習理論を用いて,学習アルゴリズムの実際の性能を近似する理論的リスク分布を構築する。 我々はこの理論分布が標本サイズが大きくなるにつれて単調性を示すことを厳密に証明する。 経験的リスク最小化(ERM)に基づく決定論的アルゴリズムが単調であるシナリオを,(1)仮説空間は有限,(2)仮説空間はVC次元が有限である。 2つの古典的学習問題に関する実験は、アルゴリズムの一般化誤差の単調性が保証されることを証明し、その理論的リスク上界は0に単調に収束することを示した。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization [34.036655200677664]
  本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
  論文  参考訳（メタデータ） (2024-10-30T20:59:57Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Collaborative Learning with Different Labeling Functions [7.228285747845779]
  我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。 データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-16T04:32:22Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Robust Distributed Learning: Tight Error Bounds and Breakdown Point under Data Heterogeneity [11.2120847961379]
  本稿では,より現実的な不均一性モデル,すなわち(G,B)-段階的な相似性について考察し,既存の理論よりも学習問題を扱えることを示す。 また、分散学習アルゴリズムの学習誤差に新たな低い境界があることも証明する。
  論文  参考訳（メタデータ） (2023-09-24T09:29:28Z)
• Sample-Efficient Learning of POMDPs with Multiple Observations In Hindsight [105.6882315781987]
  本稿では,部分観測可能なマルコフ決定過程(POMDP)における学習のサンプル効率について検討する。 「ゲームプレイにおけるローディングのような現実世界の設定に動機付けられて、後視における多重観察と呼ばれる強化されたフィードバックモデルを提案する。」 我々は,POMDPの2つのサブクラスに対して,サンプル効率の学習が可能であることを示した。
  論文  参考訳（メタデータ） (2023-07-06T09:39:01Z)
• Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models [10.66048003460524]
  この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。 これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
  論文  参考訳（メタデータ） (2023-03-28T15:59:12Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Generalized Label Shift Correction via Minimum Uncertainty Principle: Theory and Algorithm [20.361516866096007]
  一般的なラベルシフトは、望ましい知識の学習と伝達に関する洞察を提供する。 これらの課題に対処するための条件適応フレームワークを提案する。 実験結果から,提案モデルが競争性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-02-26T02:39:47Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)
• Theoretical Analysis of Divide-and-Conquer ERM: Beyond Square Loss and RKHS [20.663792705336483]
  一般損失関数と仮説空間に対する分散経験的リスク最小化(ERM)のリスク性能について検討する。 まず、仮説空間上のいくつかの基本的な仮定の下で、滑らかさ、リプシッツ連続性、損失関数の強い凸性、という2つの厳密なリスク境界を導出する。 第2に、強い凸性を制限することなく、分散ERMに対してより一般的なリスクバウンドを開発する。
  論文  参考訳（メタデータ） (2020-03-09T01:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。