論文の概要: AdaBoost is not an Optimal Weak to Strong Learner

• arxiv url: http://arxiv.org/abs/2301.11571v1
• Date: Fri, 27 Jan 2023 07:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:14:02.524536
• Title: AdaBoost is not an Optimal Weak to Strong Learner
• Title（参考訳）: AdaBoostは学習者にとって最適な弱さではない
• Authors: Mikael M{\o}ller H{\o}gsgaard, Kasper Green Larsen, Martin Ritzert
• Abstract要約: AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
• 参考スコア（独自算出の注目度）: 11.003568749905359
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AdaBoost is a classic boosting algorithm for combining multiple inaccurate classifiers produced by a weak learner, to produce a strong learner with arbitrarily high accuracy when given enough training data. Determining the optimal number of samples necessary to obtain a given accuracy of the strong learner, is a basic learning theoretic question. Larsen and Ritzert (NeurIPS'22) recently presented the first provably optimal weak-to-strong learner. However, their algorithm is somewhat complicated and it remains an intriguing question whether the prototypical boosting algorithm AdaBoost also makes optimal use of training samples. In this work, we answer this question in the negative. Concretely, we show that the sample complexity of AdaBoost, and other classic variations thereof, are sub-optimal by at least one logarithmic factor in the desired accuracy of the strong learner.
• Abstract（参考訳）: AdaBoostは、弱い学習者によって生成される複数の不正確な分類器を組み合わせるための古典的なブースティングアルゴリズムである。 強い学習者の与えられた精度を得るために必要な最適なサンプル数を決定することは、基本的な学習理論の問題である。 Larsen and Ritzert (NeurIPS'22)は、最近、証明可能な最適な弱い学習者を発表した。 しかし、アルゴリズムはやや複雑であり、AdaBoostがトレーニングサンプルを最適に利用しているかどうかという興味深い疑問が残る。 この研究では、この疑問に否定的に答える。 具体的には,強い学習者の所望の正確さにおいて,adaboostのサンプル複雑性とその古典的変種が少なくとも1つの対数係数で最適であることを示す。

関連論文リスト

• The Many Faces of Optimal Weak-to-Strong Learning [10.985323882432086]
  提案手法は, サンプルの複雑さを証明し得る, 驚くほど単純なブースティングアルゴリズムである。 我々のパイロット実験研究は、我々の新しいアルゴリズムが大規模なデータセットで以前のアルゴリズムより優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-08-30T09:38:51Z)
• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• When Analytic Calculus Cracks AdaBoost Code [0.30693357740321775]
  本研究では,Scikit-Lernで実装されたAdaBoostプロシージャを (2クラス) 解析する。 AdaBoostは名前のみのアルゴリズムであり、結果の弱い分類器の組み合わせは真理表を使って明示的に計算できる。 我々は,この式がリスクの最小点を与えていないことを観察し,最小点を求めるシステムを提供し,Freund と Schapire が記述したアルゴリズムを実装していないことを確かめる。
  論文  参考訳（メタデータ） (2023-08-02T10:37:25Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• Optimal Weak to Strong Learning [12.999258817707412]
  本稿では,弱い学習者から強力な学習者を構築するアルゴリズムを提案する。 サンプルの複雑さの低い境界は、我々の新しいアルゴリズムが最小限のトレーニングデータを使用し、したがって最適であることを示している。
  論文  参考訳（メタデータ） (2022-06-03T13:37:12Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling [0.0]
  MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。 様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
  論文  参考訳（メタデータ） (2020-11-14T04:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。