論文の概要: Boosting, Voting Classifiers and Randomized Sample Compression Schemes
- arxiv url: http://arxiv.org/abs/2402.02976v1
- Date: Mon, 5 Feb 2024 12:58:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 16:08:36.882454
- Title: Boosting, Voting Classifiers and Randomized Sample Compression Schemes
- Title(参考訳): ブースティング、投票分類器およびランダム化サンプル圧縮スキーム
- Authors: Arthur da Cunha, Kasper Green Larsen, Martin Ritzert
- Abstract要約: 複数の弱い学習者を活用して強力な学習者を生み出すことを目的としている。
一般化誤差がサンプルサイズに1つの対数依存を含む投票分類器を出力するランダム化ブースティングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 14.885182312708196
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In boosting, we aim to leverage multiple weak learners to produce a strong
learner. At the center of this paradigm lies the concept of building the strong
learner as a voting classifier, which outputs a weighted majority vote of the
weak learners. While many successful boosting algorithms, such as the iconic
AdaBoost, produce voting classifiers, their theoretical performance has long
remained sub-optimal: the best known bounds on the number of training examples
necessary for a voting classifier to obtain a given accuracy has so far always
contained at least two logarithmic factors above what is known to be achievable
by general weak-to-strong learners. In this work, we break this barrier by
proposing a randomized boosting algorithm that outputs voting classifiers whose
generalization error contains a single logarithmic dependency on the sample
size. We obtain this result by building a general framework that extends sample
compression methods to support randomized learning algorithms based on
sub-sampling.
- Abstract(参考訳): 複数の弱い学習者を活用して強力な学習者を生み出すことを目的としている。
このパラダイムの中心には、弱い学習者の多数票の重み付けを出力する投票分類器として強力な学習者を構築するという概念がある。
投票分類器が与えられた精度を得るのに必要な訓練例の数に関する最もよく知られた境界は常に、一般的な弱強学習者によって達成可能であることが知られている以上の少なくとも2つの対数要素を含んでいた。
本研究では,一般化誤差がサンプルサイズに対する単一の対数依存性を含む投票分類器を出力するランダム化ブースティングアルゴリズムを提案することで,この障壁を克服する。
サブサンプリングに基づくランダム化学習アルゴリズムをサポートするために,サンプル圧縮法を拡張した汎用フレームワークを構築した。
関連論文リスト
- When Analytic Calculus Cracks AdaBoost Code [0.30693357740321775]
本研究では,Scikit-Lernで実装されたAdaBoostプロシージャを (2クラス) 解析する。
AdaBoostは名前のみのアルゴリズムであり、結果の弱い分類器の組み合わせは真理表を使って明示的に計算できる。
我々は,この式がリスクの最小点を与えていないことを観察し,最小点を求めるシステムを提供し,Freund と Schapire が記述したアルゴリズムを実装していないことを確かめる。
論文 参考訳(メタデータ) (2023-08-02T10:37:25Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - AdaBoost is not an Optimal Weak to Strong Learner [11.003568749905359]
AdaBoostのサンプルの複雑さや他の古典的なバリエーションは、強学習者の所望の精度において、少なくとも1つの対数係数によって最適以下であることが示される。
論文 参考訳(メタデータ) (2023-01-27T07:37:51Z) - Confidence-aware Training of Smoothed Classifiers for Certified
Robustness [75.95332266383417]
我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。
実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
論文 参考訳(メタデータ) (2022-12-18T03:57:12Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-08-22T16:00:45Z) - Learning Stochastic Majority Votes by Minimizing a PAC-Bayes
Generalization Bound [15.557653926558638]
分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。
ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。
結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
論文 参考訳(メタデータ) (2021-06-23T16:57:23Z) - Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed
Recognition [95.93760490301395]
クラスごとのサンプル数が非バランスである長尾認識の問題は、考慮されます。
これは例の繰り返しサンプリングによるものであり、特徴空間拡張によって対処できると仮定される。
トレーニング中のエポック間の機能のバックトラッキングに基づく,新たな機能拡張戦略であるemanateを提案する。
新たなサンプリング手順であるbreadcrumbは、余分な計算なしで逆のクラスバランスのサンプリングを実装するために導入された。
論文 参考訳(メタデータ) (2021-05-01T00:21:26Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳(メタデータ) (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。