論文の概要: Boosting Revisited: Benchmarking and Advancing LP-Based Ensemble Methods

• arxiv url: http://arxiv.org/abs/2507.18242v1
• Date: Thu, 24 Jul 2025 09:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.334956
• Title: Boosting Revisited: Benchmarking and Advancing LP-Based Ensemble Methods
• Title（参考訳）: Boosting Revisited: ベンチマークとLPベースのアンサンブルメソッドの強化
• Authors: Fabian Akkerman, Julien Ferry, Christian Artigues, Emmanuel Hebrard, Thibaut Vidal,
• Abstract要約: 我々は,NM-BoostとQRLP-Boostの2つの新しい方法を含む,LPをベースとした6つのブースティング定式化の大規模実験を行った。 これらの定式化におけるアンサンブルと最適ベースラーナーの併用性を評価する。 XGBoost や LightGBM のような浅い木を用いる場合、完全に修正された手法は、最先端の手法よりも優れることを示す。
• 参考スコア（独自算出の注目度）: 7.384207689387448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their theoretical appeal, totally corrective boosting methods based on linear programming have received limited empirical attention. In this paper, we conduct the first large-scale experimental study of six LP-based boosting formulations, including two novel methods, NM-Boost and QRLP-Boost, across 20 diverse datasets. We evaluate the use of both heuristic and optimal base learners within these formulations, and analyze not only accuracy, but also ensemble sparsity, margin distribution, anytime performance, and hyperparameter sensitivity. We show that totally corrective methods can outperform or match state-of-the-art heuristics like XGBoost and LightGBM when using shallow trees, while producing significantly sparser ensembles. We further show that these methods can thin pre-trained ensembles without sacrificing performance, and we highlight both the strengths and limitations of using optimal decision trees in this context.
• Abstract（参考訳）: 理論上は魅力的だが、線形プログラミングに基づく完全正当性向上手法は限定的な実証的注目を集めている。 本稿では,NM-Boost と QRLP-Boost の2つの新しい手法を含む6つのLPベースのブースティング定式化について,20種類の多様なデータセットで大規模な実験を行った。 これらの定式化におけるヒューリスティックベースラーナーと最適ベースラーナーの両方の使用を評価し、精度だけでなく、アンサンブル間隔、マージン分布、常時性能、ハイパーパラメータ感度も分析した。 XGBoost や LightGBM のような最先端のヒューリスティックな手法では,浅い木を用いた場合よりも優れ,スペーサーのアンサンブルがかなり大きいことが示される。 さらに、これらの手法は性能を犠牲にすることなく、事前学習したアンサンブルを薄くすることができることを示し、この文脈で最適な決定木を使用することの長所と短所を強調した。

関連論文リスト

• BAPE: Learning an Explicit Bayes Classifier for Long-tailed Visual Recognition [78.70453964041718]
  現在のディープラーニングアルゴリズムは通常、後部確率を簡易に推定することで最適分類器を解く。 この単純な手法は、厳密にバランスのとれた学術ベンチマークデータセットに有効であることが証明されている。 しかし、これは現実世界の長い尾のデータ分布には適用できない。 本稿では,データ分布のより正確な理論的推定を行う新しい手法(BAPE)を提案する。
  論文  参考訳（メタデータ） (2025-06-29T15:12:50Z)
• TreeRPO: Tree Relative Policy Optimization [55.97385410074841]
  nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。 GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
  論文  参考訳（メタデータ） (2025-06-05T15:56:38Z)
• Stochastic Primal-Dual Double Block-Coordinate for Two-way Partial AUC Maximization [56.805574957824135]
  2方向部分AUCAUCは、不均衡なデータを持つバイナリ分類における重要な性能指標である。 TPAUC最適化のための既存のアルゴリズムは未探索のままである。 TPAUC最適化のための2つの革新的な二重座標ブロック座標アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-05-28T03:55:05Z)
• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines [1.738375118265695]
  本稿では,カーネルサポートベクトルマシン(SVM)に特化して設計された革新的な手法を提案する。 イテレーション毎のイテレーションを高速化するだけでなく、従来のSFO技術と比較して収束度も向上する。 実験の結果,提案アルゴリズムはSFO法のスケーラビリティを維持できるだけでなく,潜在的に超越していることが示された。
  論文  参考訳（メタデータ） (2024-07-30T17:03:19Z)
• Benchmarking state-of-the-art gradient boosting algorithms for classification [0.0]
  この研究は、分類の文脈における勾配増強の利用について考察する。 オリジナルのGBMアルゴリズムや選択された最先端の勾配向上フレームワークを含む4つの一般的な実装を比較した。 有効性、信頼性、使いやすさの適切なバランスを示す勾配促進変種を示す試みが行われた。
  論文  参考訳（メタデータ） (2023-05-26T17:06:15Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• Strong Optimal Classification Trees [8.10995244893652]
  最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。 我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。 提案手法は最先端MIO技術よりも29倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-03-29T21:40:58Z)
• Lower Bounds and Optimal Algorithms for Personalized Federated Learning [7.742297876120562]
  我々は最近HanzelyとRicht'arikによって導入されたパーソナライズド・フェデレーション・ラーニングの最適化について考察する(2020)。 私たちの最初の貢献は、コミュニケーションの複雑さと局所的なオラクルの複雑さの両方のために、この定式化のための最初の下位境界を確立することです。 2つ目のコントリビューションは、これらの下界にほぼすべてのレシエーションで一致するいくつかの最適手法の設計である。
  論文  参考訳（メタデータ） (2020-10-05T22:29:51Z)
• Learning Optimal Classification Trees: Strong Max-Flow Formulations [8.10995244893652]
  線形プログラミングの緩和を強くした最適二分分類木に対するフローベースMIP定式化を提案する。 我々はこの構造と最大フロー/最小カットの双対性を利用してベンダーズ分解法を導出する。
  論文  参考訳（メタデータ） (2020-02-21T05:58:17Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。