論文の概要: Package for Fast ABC-Boost
- arxiv url: http://arxiv.org/abs/2207.08770v1
- Date: Mon, 18 Jul 2022 17:22:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 15:40:41.831733
- Title: Package for Fast ABC-Boost
- Title(参考訳): 高速abcブースト用パッケージ
- Authors: Ping Li and Weijie Zhao
- Abstract要約: 本報告では,過去数年間の一連の増補作業を実装したオープンソースパッケージについて述べる。
ヒストグラムに基づく (Feature-binning) アプローチはツリーの実装を便利かつ効率的にする。
損失関数の2階微分に基づく木分割に対するLi(20010)の明示的な利得公式は、典型的には改善される。
- 参考スコア(独自算出の注目度): 21.607059258448594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This report presents the open-source package which implements the series of
our boosting works in the past years. In particular, the package includes
mainly three lines of techniques, among which the following two are already the
standard implementations in popular boosted tree platforms:
(i) The histogram-based (feature-binning) approach makes the tree
implementation convenient and efficient. In Li et al (2007), a simple
fixed-length adaptive binning algorithm was developed. In this report, we
demonstrate that such a simple algorithm is still surprisingly effective
compared to more sophisticated variants in popular tree platforms.
(ii) The explicit gain formula in Li (20010) for tree splitting based on
second-order derivatives of the loss function typically improves, often
considerably, over the first-order methods. Although the gain formula in Li
(2010) was derived for logistic regression loss, it is a generic formula for
loss functions with second-derivatives. For example, the open-source package
also includes $L_p$ regression for $p\geq 1$.
The main contribution of this package is the ABC-Boost (adaptive base class
boosting) for multi-class classification. The initial work in Li (2008) derived
a new set of derivatives of the classical multi-class logistic regression by
specifying a "base class". The accuracy can be substantially improved if the
base class is chosen properly. The major technical challenge is to design a
search strategy to select the base class. The prior published works implemented
an exhaustive search procedure to find the base class which is computationally
too expensive. Recently, a new report (Li and Zhao, 20022) presents a unified
framework of "Fast ABC-Boost" which allows users to efficiently choose the
proper search space for the base class.
The package provides interfaces for linux, windows, mac, matlab, R, python.
- Abstract(参考訳): 本報告では,過去数年間の一連の増補作業を実装したオープンソースパッケージについて述べる。
特に、パッケージには主に3行のテクニックが含まれており、そのうちの2つは、すでに一般的な高木プラットフォームにおける標準実装である。
(i)ヒストグラムに基づく(機能結合)アプローチは、ツリーの実装を便利かつ効率的にする。
Li et al (2007)では、単純な固定長適応ビンニングアルゴリズムが開発された。
本稿では,このような単純なアルゴリズムが,人気木プラットフォームにおけるより洗練された変種と比較して驚くほど有効であることを示す。
(ii)損失関数の2階微分に基づく木分割に対するLi(20010)の明示的な利得公式は、通常、1階法よりも大幅に改善される。
Li (2010) の利得公式はロジスティック回帰損失のために導出されたが、第二導関数を持つ損失関数の一般公式である。
例えば、オープンソースのパッケージには$p\geq 1$の$l_p$レグレッションも含まれている。
このパッケージの主な貢献は、マルチクラス分類のためのABC-Boost (adaptive base class boosting)である。
Li (2008) の最初の研究は、「基底クラス」を指定して古典的多クラスロジスティック回帰の新しい導関数を導出した。
ベースクラスが適切に選択された場合、精度が大幅に向上する。
主な技術的課題は、ベースクラスを選択するための検索戦略を設計することである。
先行研究は計算コストが高すぎる基本クラスを見つけるために徹底的な探索手順を実装した。
近年、Li and Zhao, 20022) は「Fast ABC-Boost」の統一的な枠組みを提示し、ユーザーがベースクラスの適切な検索空間を効率的に選択できるようにする。
このパッケージは、linux, windows, mac, matlab, R, pythonのインターフェイスを提供する。
関連論文リスト
- A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning
with General Function Approximation [66.26739783789387]
我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。
MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。
本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
論文 参考訳(メタデータ) (2023-11-26T08:31:57Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - RLAS-BIABC: A Reinforcement Learning-Based Answer Selection Using the
BERT Model Boosted by an Improved ABC Algorithm [6.82469220191368]
回答選択(AS)は、オープンドメイン質問応答(QA)問題の重要なサブタスクである。
本稿では、注意機構に基づく長短期メモリ(LSTM)と、変換器(BERT)ワード埋め込みによる双方向エンコーダ表現に基づいて、ASのためのRLAS-BIABCと呼ばれる手法を提案する。
論文 参考訳(メタデータ) (2023-01-07T08:33:05Z) - Fast Offline Policy Optimization for Large Scale Recommendation [74.78213147859236]
我々は、カタログサイズと対数的にスケールするこれらのポリシー学習アルゴリズムの近似を導出する。
私たちの貢献は3つの新しいアイデアの組み合わせに基づいている。
我々の推定器は、単純なアプローチよりも桁違いに速いが、等しく良いポリシーを生成する。
論文 参考訳(メタデータ) (2022-08-08T11:54:11Z) - pGMM Kernel Regression and Comparisons with Boosted Trees [21.607059258448594]
本研究では,pGMMカーネルの(リッジ)回帰の文脈における利点を実証する。
おそらく驚くことに、チューニングパラメータ(pGMMカーネルのパワーパラメータの$p=1$)がなくても、pGMMカーネルはすでによく機能している。
おそらく驚くべきことに、最高のパフォーマンス(回帰損失$L$)は、しばしば$pgggg 2$で、場合によっては$pgggg 2$で達成される。
論文 参考訳(メタデータ) (2022-07-18T15:06:30Z) - Human-in-the-loop: Provably Efficient Preference-based Reinforcement
Learning with General Function Approximation [107.54516740713969]
本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。
各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。
一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-23T09:03:24Z) - Fast ABC-Boost: A Unified Framework for Selecting the Base Class in
Multi-Class Classification [21.607059258448594]
我々はABC-Boostの計算効率を向上させるために,一連のアイデアを導入して,ベースクラスを効果的に選択するための統一的なフレームワークを開発する。
私たちのフレームワークにはパラメータ $(s,g,w)$ があります。
論文 参考訳(メタデータ) (2022-05-22T20:42:26Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping [29.485528641599018]
本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。
提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。
どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
論文 参考訳(メタデータ) (2020-04-01T00:39:24Z) - BoostTree and BoostForest for Ensemble Learning [27.911350375268576]
BoostForestは、BoostTreeをベースラーナーとして使用したアンサンブル学習アプローチで、分類と回帰の両方に使用することができる。
一般的に、35の分類と回帰データセットにおいて、4つの古典的なアンサンブル学習アプローチ(ランサムフォレスト、エクストラトリー、XGBoost、LightGBM)より優れていた。
論文 参考訳(メタデータ) (2020-03-21T19:52:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。