論文の概要: Package for Fast ABC-Boost

• arxiv url: http://arxiv.org/abs/2207.08770v1
• Date: Mon, 18 Jul 2022 17:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 15:40:41.831733
• Title: Package for Fast ABC-Boost
• Title（参考訳）: 高速abcブースト用パッケージ
• Authors: Ping Li and Weijie Zhao
• Abstract要約: 本報告では,過去数年間の一連の増補作業を実装したオープンソースパッケージについて述べる。 ヒストグラムに基づく (Feature-binning) アプローチはツリーの実装を便利かつ効率的にする。 損失関数の2階微分に基づく木分割に対するLi(20010)の明示的な利得公式は、典型的には改善される。
• 参考スコア（独自算出の注目度）: 21.607059258448594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This report presents the open-source package which implements the series of our boosting works in the past years. In particular, the package includes mainly three lines of techniques, among which the following two are already the standard implementations in popular boosted tree platforms: (i) The histogram-based (feature-binning) approach makes the tree implementation convenient and efficient. In Li et al (2007), a simple fixed-length adaptive binning algorithm was developed. In this report, we demonstrate that such a simple algorithm is still surprisingly effective compared to more sophisticated variants in popular tree platforms. (ii) The explicit gain formula in Li (20010) for tree splitting based on second-order derivatives of the loss function typically improves, often considerably, over the first-order methods. Although the gain formula in Li (2010) was derived for logistic regression loss, it is a generic formula for loss functions with second-derivatives. For example, the open-source package also includes $L_p$ regression for $p\geq 1$. The main contribution of this package is the ABC-Boost (adaptive base class boosting) for multi-class classification. The initial work in Li (2008) derived a new set of derivatives of the classical multi-class logistic regression by specifying a "base class". The accuracy can be substantially improved if the base class is chosen properly. The major technical challenge is to design a search strategy to select the base class. The prior published works implemented an exhaustive search procedure to find the base class which is computationally too expensive. Recently, a new report (Li and Zhao, 20022) presents a unified framework of "Fast ABC-Boost" which allows users to efficiently choose the proper search space for the base class. The package provides interfaces for linux, windows, mac, matlab, R, python.
• Abstract（参考訳）: 本報告では,過去数年間の一連の増補作業を実装したオープンソースパッケージについて述べる。 特に、パッケージには主に3行のテクニックが含まれており、そのうちの2つは、すでに一般的な高木プラットフォームにおける標準実装である。 (i)ヒストグラムに基づく(機能結合)アプローチは、ツリーの実装を便利かつ効率的にする。 Li et al (2007)では、単純な固定長適応ビンニングアルゴリズムが開発された。 本稿では,このような単純なアルゴリズムが,人気木プラットフォームにおけるより洗練された変種と比較して驚くほど有効であることを示す。 (ii)損失関数の2階微分に基づく木分割に対するLi(20010)の明示的な利得公式は、通常、1階法よりも大幅に改善される。 Li (2010) の利得公式はロジスティック回帰損失のために導出されたが、第二導関数を持つ損失関数の一般公式である。 例えば、オープンソースのパッケージには$p\geq 1$の$l_p$レグレッションも含まれている。 このパッケージの主な貢献は、マルチクラス分類のためのABC-Boost (adaptive base class boosting)である。 Li (2008) の最初の研究は、「基底クラス」を指定して古典的多クラスロジスティック回帰の新しい導関数を導出した。 ベースクラスが適切に選択された場合、精度が大幅に向上する。 主な技術的課題は、ベースクラスを選択するための検索戦略を設計することである。 先行研究は計算コストが高すぎる基本クラスを見つけるために徹底的な探索手順を実装した。 近年、Li and Zhao, 20022) は「Fast ABC-Boost」の統一的な枠組みを提示し、ユーザーがベースクラスの適切な検索空間を効率的に選択できるようにする。 このパッケージは、linux, windows, mac, matlab, R, pythonのインターフェイスを提供する。

関連論文リスト

• Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
  アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。 我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。 そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
  論文  参考訳（メタデータ） (2024-08-06T03:42:38Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Robust Capped lp-Norm Support Vector Ordinal Regression [85.84718111830752]
  正規回帰は、ラベルが固有の順序を示す特殊な教師付き問題である。 卓越した順序回帰モデルとしてのベクトル順序回帰は、多くの順序回帰タスクで広く使われている。 我々は,新たなモデルであるCapped $ell_p$-Norm Support Vector Ordinal Regression (CSVOR)を導入する。
  論文  参考訳（メタデータ） (2024-04-25T13:56:05Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• pGMM Kernel Regression and Comparisons with Boosted Trees [21.607059258448594]
  本研究では,pGMMカーネルの(リッジ)回帰の文脈における利点を実証する。 おそらく驚くことに、チューニングパラメータ(pGMMカーネルのパワーパラメータの$p=1$)がなくても、pGMMカーネルはすでによく機能している。 おそらく驚くべきことに、最高のパフォーマンス(回帰損失$L$)は、しばしば$pgggg 2$で、場合によっては$pgggg 2$で達成される。
  論文  参考訳（メタデータ） (2022-07-18T15:06:30Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Fast ABC-Boost: A Unified Framework for Selecting the Base Class in Multi-Class Classification [21.607059258448594]
  我々はABC-Boostの計算効率を向上させるために,一連のアイデアを導入して,ベースクラスを効果的に選択するための統一的なフレームワークを開発する。 私たちのフレームワークにはパラメータ $(s,g,w)$ があります。
  論文  参考訳（メタデータ） (2022-05-22T20:42:26Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
  本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。 提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。 どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
  論文  参考訳（メタデータ） (2020-04-01T00:39:24Z)
• BoostTree and BoostForest for Ensemble Learning [27.911350375268576]
  BoostForestは、BoostTreeをベースラーナーとして使用したアンサンブル学習アプローチで、分類と回帰の両方に使用することができる。 一般的に、35の分類と回帰データセットにおいて、4つの古典的なアンサンブル学習アプローチ(ランサムフォレスト、エクストラトリー、XGBoost、LightGBM)より優れていた。
  論文  参考訳（メタデータ） (2020-03-21T19:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。