論文の概要: Fast ABC-Boost: A Unified Framework for Selecting the Base Class in
Multi-Class Classification
- arxiv url: http://arxiv.org/abs/2205.10927v1
- Date: Sun, 22 May 2022 20:42:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-29 17:45:01.016434
- Title: Fast ABC-Boost: A Unified Framework for Selecting the Base Class in
Multi-Class Classification
- Title（参考訳）: Fast ABC-Boost:マルチクラス分類におけるベースクラス選択のための統一フレームワーク
- Authors: Ping Li and Weijie Zhao
- Abstract要約: 我々はABC-Boostの計算効率を向上させるために,一連のアイデアを導入して,ベースクラスを効果的に選択するための統一的なフレームワークを開発する。
私たちのフレームワークにはパラメータ $(s,g,w)$ があります。
- 参考スコア（独自算出の注目度）: 21.607059258448594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The work in ICML'09 showed that the derivatives of the classical multi-class
logistic regression loss function could be re-written in terms of a pre-chosen
"base class" and applied the new derivatives in the popular boosting framework.
In order to make use of the new derivatives, one must have a strategy to
identify/choose the base class at each boosting iteration. The idea of
"adaptive base class boost" (ABC-Boost) in ICML'09, adopted a computationally
expensive "exhaustive search" strategy for the base class at each iteration. It
has been well demonstrated that ABC-Boost, when integrated with trees, can
achieve substantial improvements in many multi-class classification tasks.
Furthermore, the work in UAI'10 derived the explicit second-order tree split
gain formula which typically improved the classification accuracy considerably,
compared with using only the fist-order information for tree-splitting, for
both multi-class and binary-class classification tasks. In this paper, we
develop a unified framework for effectively selecting the base class by
introducing a series of ideas to improve the computational efficiency of
ABC-Boost. Our framework has parameters $(s,g,w)$. At each boosting iteration,
we only search for the "$s$-worst classes" (instead of all classes) to
determine the base class. We also allow a "gap" $g$ when conducting the search.
That is, we only search for the base class at every $g+1$ iterations. We
furthermore allow a "warm up" stage by only starting the search after $w$
boosting iterations. The parameters $s$, $g$, $w$, can be viewed as tunable
parameters and certain combinations of $(s,g,w)$ may even lead to better test
accuracy than the "exhaustive search" strategy. Overall, our proposed framework
provides a robust and reliable scheme for implementing ABC-Boost in practice.
- Abstract（参考訳）: ICML'09における研究は、古典的多クラスロジスティック回帰損失関数の導関数を「基底クラス」として書き直すことができ、新しい導関数を一般的なブースティングフレームワークに適用できることを示した。
新しいデリバティブを使用するには、各ブースティングイテレーションでベースクラスを識別/縮小する戦略を持つ必要がある。
ICML'09の"adaptive base class boost"(ABC-Boost)というアイデアは、各イテレーションでベースクラスに対して計算的に高価な"exhaustive search"戦略を採用した。
ABC-Boostが木と統合された場合、多くのクラス分類タスクにおいて大幅な改善が達成できることがよく示されている。
さらに,UAI'10における作業は,複数クラス・二階分類の作業において,二階分割情報のみを用いた場合と比較して,分類精度を著しく向上させる明示的な二階分割利得式を導出した。
本稿では,ABC-Boostの計算効率を向上させるための一連のアイデアを導入し,ベースクラスを効果的に選択するための統一的なフレームワークを開発する。
私たちのフレームワークにはパラメータ $(s,g,w)$ があります。
各イテレーションでは、ベースクラスを決定するために(すべてのクラスの代わりに)"$s$-worstクラス"を検索するだけです。
また、検索を行うときに"gap"$g$を許可します。
つまり、$g+1$のイテレーション毎にのみベースクラスを検索します。
さらに、w$の反復の後にのみ検索を開始することで、"ウォームアップ"ステージを許可します。
パラメータ $s$, $g$, $w$ は調整可能なパラメータと見なすことができ、$(s,g,w)$ の特定の組み合わせは "exhaustive search" 戦略よりもテストの精度が向上する可能性がある。
提案するフレームワークはABC-Boostを実際に実装するための堅牢で信頼性の高いスキームを提供する。
関連論文リスト
- Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳（メタデータ） (2023-07-02T19:26:58Z) - RLAS-BIABC: A Reinforcement Learning-Based Answer Selection Using the
BERT Model Boosted by an Improved ABC Algorithm [6.82469220191368]
回答選択(AS)は、オープンドメイン質問応答(QA)問題の重要なサブタスクである。
本稿では、注意機構に基づく長短期メモリ(LSTM)と、変換器(BERT)ワード埋め込みによる双方向エンコーダ表現に基づいて、ASのためのRLAS-BIABCと呼ばれる手法を提案する。
論文 参考訳（メタデータ） (2023-01-07T08:33:05Z) - Package for Fast ABC-Boost [21.607059258448594]
本報告では,過去数年間の一連の増補作業を実装したオープンソースパッケージについて述べる。
ヒストグラムに基づく (Feature-binning) アプローチはツリーの実装を便利かつ効率的にする。
損失関数の2階微分に基づく木分割に対するLi(20010)の明示的な利得公式は、典型的には改善される。
論文 参考訳（メタデータ） (2022-07-18T17:22:32Z) - APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic
Segmentation [56.387647750094466]
Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。
ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。
本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
論文 参考訳（メタデータ） (2021-11-24T04:38:37Z) - Multiple Classifiers Based Maximum Classifier Discrepancy for
Unsupervised Domain Adaptation [25.114533037440896]
本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。
平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-02T03:00:13Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - BoostTree and BoostForest for Ensemble Learning [27.911350375268576]
BoostForestは、BoostTreeをベースラーナーとして使用したアンサンブル学習アプローチで、分類と回帰の両方に使用することができる。
一般的に、35の分類と回帰データセットにおいて、4つの古典的なアンサンブル学習アプローチ(ランサムフォレスト、エクストラトリー、XGBoost、LightGBM)より優れていた。
論文 参考訳（メタデータ） (2020-03-21T19:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。