論文の概要: AdaBoost is not an Optimal Weak to Strong Learner
- arxiv url: http://arxiv.org/abs/2301.11571v1
- Date: Fri, 27 Jan 2023 07:37:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 16:14:02.524536
- Title: AdaBoost is not an Optimal Weak to Strong Learner
- Title(参考訳): AdaBoostは学習者にとって最適な弱さではない
- Authors: Mikael M{\o}ller H{\o}gsgaard, Kasper Green Larsen, Martin Ritzert
- Abstract要約: AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
- 参考スコア(独自算出の注目度): 11.003568749905359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AdaBoost is a classic boosting algorithm for combining multiple inaccurate
classifiers produced by a weak learner, to produce a strong learner with
arbitrarily high accuracy when given enough training data. Determining the
optimal number of samples necessary to obtain a given accuracy of the strong
learner, is a basic learning theoretic question. Larsen and Ritzert
(NeurIPS'22) recently presented the first provably optimal weak-to-strong
learner. However, their algorithm is somewhat complicated and it remains an
intriguing question whether the prototypical boosting algorithm AdaBoost also
makes optimal use of training samples. In this work, we answer this question in
the negative. Concretely, we show that the sample complexity of AdaBoost, and
other classic variations thereof, are sub-optimal by at least one logarithmic
factor in the desired accuracy of the strong learner.
- Abstract(参考訳): AdaBoostは、弱い学習者によって生成される複数の不正確な分類器を組み合わせるための古典的なブースティングアルゴリズムである。
強い学習者の与えられた精度を得るために必要な最適なサンプル数を決定することは、基本的な学習理論の問題である。
Larsen and Ritzert (NeurIPS'22)は、最近、証明可能な最適な弱い学習者を発表した。
しかし、アルゴリズムはやや複雑であり、AdaBoostがトレーニングサンプルを最適に利用しているかどうかという興味深い疑問が残る。
この研究では、この疑問に否定的に答える。
具体的には,強い学習者の所望の正確さにおいて,adaboostのサンプル複雑性とその古典的変種が少なくとも1つの対数係数で最適であることを示す。
関連論文リスト
- When Analytic Calculus Cracks AdaBoost Code [0.30693357740321775]
本研究では,Scikit-Lernで実装されたAdaBoostプロシージャを (2クラス) 解析する。
AdaBoostは名前のみのアルゴリズムであり、結果の弱い分類器の組み合わせは真理表を使って明示的に計算できる。
我々は,この式がリスクの最小点を与えていないことを観察し,最小点を求めるシステムを提供し,Freund と Schapire が記述したアルゴリズムを実装していないことを確かめる。
論文 参考訳(メタデータ) (2023-08-02T10:37:25Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - PromptBoosting: Black-Box Text Classification with Ten Forward Passes [61.38341243907045]
PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。
実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
論文 参考訳(メタデータ) (2022-12-19T06:04:54Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z) - Optimal Weak to Strong Learning [12.999258817707412]
本稿では,弱い学習者から強力な学習者を構築するアルゴリズムを提案する。
サンプルの複雑さの低い境界は、我々の新しいアルゴリズムが最小限のトレーニングデータを使用し、したがって最適であることを示している。
論文 参考訳(メタデータ) (2022-06-03T13:37:12Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-08-22T16:00:45Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳(メタデータ) (2021-06-21T20:16:40Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳(メタデータ) (2021-02-18T12:30:49Z) - MP-Boost: Minipatch Boosting via Adaptive Feature and Observation
Sampling [0.0]
MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。
様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
論文 参考訳(メタデータ) (2020-11-14T04:26:13Z) - Improved Quantum Boosting [1.0660480034605238]
Arunachalam と Maity は、Freund と Schapire の AdaBoost アルゴリズムと近似カウントのための量子アルゴリズムを組み合わせることで、最初の量子改良を行った。
本稿では,ServedioのSmoothBoostアルゴリズムに基づく,より高速でシンプルな量子ブースティングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-17T15:16:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。