論文の概要: ADABOOK & MULTIBOOK: Adaptive Boosting with Chance Correction
- arxiv url: http://arxiv.org/abs/2010.15550v1
- Date: Sun, 11 Oct 2020 01:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 13:07:13.590447
- Title: ADABOOK & MULTIBOOK: Adaptive Boosting with Chance Correction
- Title(参考訳): ADABOOK & MultiBOOK: チャンス補正による適応的ブースティング
- Authors: David M. W. Powers
- Abstract要約: 弱い学習者は、より説得力のある確率補正措置の軽減に精度を最適化することが可能であり、この場合ブースターは早すぎる可能性がある。
そこで本稿は, 確率補正尺度の活用の必要性を示す理論的研究を補完するものであり, 確率補正尺度の活用が向上することを示す実証的な研究である。
- 参考スコア(独自算出の注目度): 3.7819322027528113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been considerable interest in boosting and bagging, including the
combination of the adaptive techniques of AdaBoost with the random selection
with replacement techniques of Bagging. At the same time there has been a
revisiting of the way we evaluate, with chance-corrected measures like Kappa,
Informedness, Correlation or ROC AUC being advocated. This leads to the
question of whether learning algorithms can do better by optimizing an
appropriate chance corrected measure. Indeed, it is possible for a weak learner
to optimize Accuracy to the detriment of the more reaslistic chance-corrected
measures, and when this happens the booster can give up too early. This
phenomenon is known to occur with conventional Accuracy-based AdaBoost, and the
MultiBoost algorithm has been developed to overcome such problems using restart
techniques based on bagging. This paper thus complements the theoretical work
showing the necessity of using chance-corrected measures for evaluation, with
empirical work showing how use of a chance-corrected measure can improve
boosting. We show that the early surrender problem occurs in MultiBoost too, in
multiclass situations, so that chance-corrected AdaBook and Multibook can beat
standard Multiboost or AdaBoost, and we further identify which chance-corrected
measures to use when.
- Abstract(参考訳): AdaBoost の適応的手法とランダム選択と Bagging の代替技術の組み合わせなど、強化とバッグングにかなりの関心が寄せられている。
同時に、Kappa、Informedness、Corelation、ROC AUCなどの機会補正措置が提唱されるなど、私たちの評価方法の再検討も行われています。
これにより、適切な確率補正尺度を最適化することで、学習アルゴリズムがより良くできるかどうかが問題となる。
実際、弱い学習者は、より再帰的な機会補正措置を損なうために正確さを最適化することができ、これが起こるとブースターは早すぎる可能性がある。
この現象は従来の精度に基づくAdaBoostで発生することが知られており、MultiBoostアルゴリズムはバッグングに基づく再起動技術を用いてそのような問題を解決するために開発された。
そこで本稿は, 確率補正尺度の活用の必要性を示す理論的研究を補完するものであり, 確率補正尺度の活用が向上することを示す実証研究である。
AdaBookとMultibookが標準のMultiboostやAdaBoostを倒せるように、MultiBoostでも早期降伏問題は発生し、どの機会修正対策をいつ使うかをさらに明らかにする。
関連論文リスト
- Sample-Efficient Agnostic Boosting [19.15484761265653]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、既知のすべてのブースティングアルゴリズムよりも4次的に標本効率が高いという、不可知的なブースティング手法を超越している。
アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。
論文 参考訳(メタデータ) (2024-10-31T04:50:29Z) - How to Boost Any Loss Function [63.573324901948716]
損失関数の高速化により効率よく最適化できることを示す。
古典的な$0の注文設定ではまだ不可能な成果を達成できることを示す。
論文 参考訳(メタデータ) (2024-07-02T14:08:23Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳(メタデータ) (2022-03-23T06:24:31Z) - Quantum Boosting using Domain-Partitioning Hypotheses [0.9264464791978363]
ブースティングは、弱い学習者をPAC学習フレームワークの強力な学習者に変換するアンサンブル学習法である。
Q-RealBoostは、弱い学習者のバイアスと弱い学習者がターゲット概念クラスを学習するのに要する時間の両方の観点から、Q-AdaBoostを高速化することを示した。
論文 参考訳(メタデータ) (2021-10-25T10:46:13Z) - A Multiclass Boosting Framework for Achieving Fast and Provable
Adversarial Robustness [32.90358643120235]
ディープニューラルネットワークは、出力予測を変更するために破壊することができる。
この明らかな堅牢性の欠如により、研究者は敵がそのような能力を持つのを防げる方法を提案している。
本稿では,対向ロバスト性を確保するためのマルチクラスブースティングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-01T19:42:31Z) - Boosting for Online Convex Optimization [64.15578413206715]
多数の専門家とオンライン凸最適化の意思決定フレームワークを検討します。
弱学習アルゴリズムは、基本クラスの専門家に対するおよその後悔を保証するメカニズムとして定義します。
ベースクラスの凸船体に対するほぼ最適の後悔を保証する効率的なブースティングアルゴリズムを提供します。
論文 参考訳(メタデータ) (2021-02-18T12:30:49Z) - MP-Boost: Minipatch Boosting via Adaptive Feature and Observation
Sampling [0.0]
MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。
様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
論文 参考訳(メタデータ) (2020-11-14T04:26:13Z) - Online Agnostic Boosting via Regret Minimization [47.19178618537368]
Boostingは、弱い学習ルールを集約するというアイデアに基づいて、広く使われている機械学習アプローチである。
オンラインブースティングアルゴリズムとしては,最弱の学習者に対して,自明な後悔の保証しか持たないことを考えると,そのアルゴリズムは,サブ線形後悔の強い学習者に促進する。
論文 参考訳(メタデータ) (2020-03-02T19:21:25Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳(メタデータ) (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。