論文の概要: Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models

• arxiv url: http://arxiv.org/abs/2303.16091v1
• Date: Tue, 28 Mar 2023 15:59:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 14:31:09.184018
• Title: Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
• Title（参考訳）: 回帰モデルにおける学習可能性、サンプル複雑性、仮説クラス複雑性
• Authors: Soosan Beheshti, Mahdi Shamsi
• Abstract要約: この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はEpsilon-Confidence Aough Correct (epsilon CoAC)で示され、Kullback Leibler divergence(相対エントロピー)を利用する。 これにより、学習者は異なる複雑性順序の仮説クラスを比較でき、それらの中から最小のエプシロンを最適に選択できる。
• 参考スコア（独自算出の注目度）: 10.66048003460524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The goal of a learning algorithm is to receive a training data set as input and provide a hypothesis that can generalize to all possible data points from a domain set. The hypothesis is chosen from hypothesis classes with potentially different complexities. Linear regression modeling is an important category of learning algorithms. The practical uncertainty of the target samples affects the generalization performance of the learned model. Failing to choose a proper model or hypothesis class can lead to serious issues such as underfitting or overfitting. These issues have been addressed by alternating cost functions or by utilizing cross-validation methods. These approaches can introduce new hyperparameters with their own new challenges and uncertainties or increase the computational complexity of the learning algorithm. On the other hand, the theory of probably approximately correct (PAC) aims at defining learnability based on probabilistic settings. Despite its theoretical value, PAC does not address practical learning issues on many occasions. This work is inspired by the foundation of PAC and is motivated by the existing regression learning issues. The proposed approach, denoted by epsilon-Confidence Approximately Correct (epsilon CoAC), utilizes Kullback Leibler divergence (relative entropy) and proposes a new related typical set in the set of hyperparameters to tackle the learnability issue. Moreover, it enables the learner to compare hypothesis classes of different complexity orders and choose among them the optimum with the minimum epsilon in the epsilon CoAC framework. Not only the epsilon CoAC learnability overcomes the issues of overfitting and underfitting, but it also shows advantages and superiority over the well known cross-validation method in the sense of time consumption as well as in the sense of accuracy.
• Abstract（参考訳）: 学習アルゴリズムの目標は、入力としてトレーニングデータセットを受け取り、ドメインセットから可能なすべてのデータポイントに一般化可能な仮説を提供することである。 仮説は、潜在的に異なる複雑さを持つ仮説クラスから選択される。 線形回帰モデリングは学習アルゴリズムの重要なカテゴリである。 対象試料の実用的不確かさは,学習モデルの一般化性能に影響する。 適切なモデルや仮説のクラスを選べないことは、不適合や過剰フィッティングといった深刻な問題につながる可能性がある。 これらの問題はコスト関数の交互化やクロスバリデーション手法の活用によって解決されている。 これらのアプローチは、新しい課題と不確実性を持つ新しいハイパーパラメータを導入したり、学習アルゴリズムの計算複雑性を増大させることができる。 一方,PAC理論は確率的設定に基づいて学習可能性を定義することを目的としている。 理論的な価値にもかかわらず、PACは多くの場面で実践的な学習の問題に対処していない。 この研究はPACの基礎に触発され、既存の回帰学習問題に動機付けられている。 提案手法はepsilon-Confidence Aough Correct (epsilon CoAC) で表され,Kulback Leibler divergence (relative entropy) を用いて,学習可能性問題に対処するためのハイパーパラメータの集合における新しい典型的な集合を提案する。 さらに、学習者は、異なる複雑性順序の仮説クラスを比較して、エプシロンCoACフレームワークの最小エプシロンを最適に選択することができる。 エプシロンCoAC学習性は、過度な適合と不適合の問題を克服するだけでなく、時間消費や精度の点でよく知られたクロスバリデーション法よりも優位性と優位性を示す。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Tight Guarantees for Interactive Decision Making with the Decision-Estimation Coefficient [51.37720227675476]
  我々は、決定推定係数の新たな変種を導入し、それを用いて、3つの面における事前の作業を改善する新しい下界を導出する。 我々は同じ量でスケールした後悔について上界を与え、フォスター等における上界と下界の間のギャップの1つを除いて全てを閉じる。 この結果は、後悔のフレームワークとPACフレームワークの両方に適用され、我々が期待するいくつかの新しい分析とアルゴリズム設計技術を利用して、より広範な利用が期待できる。
  論文  参考訳（メタデータ） (2023-01-19T18:24:08Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Pairwise Learning via Stagewise Training in Proximal Setting [0.0]
  非平滑凸対損失関数の収束保証と、適応的なサンプルサイズとペアワイズ学習のための重要サンプリング手法を組み合わせる。 それぞれに逆のインスタンスをサンプリングすると勾配の分散が減少し、収束が加速することを示した。
  論文  参考訳（メタデータ） (2022-08-08T11:51:01Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
  最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。 我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
  論文  参考訳（メタデータ） (2020-06-15T18:37:38Z)
• Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
  部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。 本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。