論文の概要: Benchmarking state-of-the-art gradient boosting algorithms for classification

• arxiv url: http://arxiv.org/abs/2305.17094v1
• Date: Fri, 26 May 2023 17:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 13:17:04.272683
• Title: Benchmarking state-of-the-art gradient boosting algorithms for classification
• Title（参考訳）: 分類のための最先端勾配強化アルゴリズムのベンチマーク
• Authors: Piotr Florek, Adam Zagda\'nski
• Abstract要約: この研究は、分類の文脈における勾配増強の利用について考察する。 オリジナルのGBMアルゴリズムや選択された最先端の勾配向上フレームワークを含む4つの一般的な実装を比較した。 有効性、信頼性、使いやすさの適切なバランスを示す勾配促進変種を示す試みが行われた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores the use of gradient boosting in the context of classification. Four popular implementations, including original GBM algorithm and selected state-of-the-art gradient boosting frameworks (i.e. XGBoost, LightGBM and CatBoost), have been thoroughly compared on several publicly available real-world datasets of sufficient diversity. In the study, special emphasis was placed on hyperparameter optimization, specifically comparing two tuning strategies, i.e. randomized search and Bayesian optimization using the Tree-stuctured Parzen Estimator. The performance of considered methods was investigated in terms of common classification accuracy metrics as well as runtime and tuning time. Additionally, obtained results have been validated using appropriate statistical testing. An attempt was made to indicate a gradient boosting variant showing the right balance between effectiveness, reliability and ease of use.
• Abstract（参考訳）: 本研究は,分類の文脈における勾配ブースティングの利用を考察する。 オリジナルのGBMアルゴリズムや選択された最先端の勾配向上フレームワーク(XGBoost、LightGBM、CatBoost)を含む4つの一般的な実装は、十分に多様性のある公開されている実世界のデータセットで徹底的に比較されている。 本研究では,高パラメータ最適化を特に重視し,木構造パーゼン推定器を用いたランダム化探索とベイズ最適化の2つのチューニング戦略を比較した。 検討した手法の性能は, 実行時間とチューニング時間だけでなく, 共通分類精度指標の観点から検討した。 さらに, 適切な統計的検査により得られた結果が検証された。 有効性、信頼性、使いやすさの適切なバランスを示す勾配促進変種を示す試みが行われた。

関連論文リスト

• Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
  微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。 2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。 本稿では,これらの手法の総合的な比較実験を行う。
  論文  参考訳（メタデータ） (2024-10-31T18:07:44Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• An efficient hybrid classification approach for COVID-19 based on Harris Hawks Optimization and Salp Swarm Optimization [0.0]
  本研究では、Covid-19分類のためのHarris Hawks Optimization Algorithm(HHO)とSalp Swarm Optimization(SSA)のハイブリッドバイナリバージョンを提案する。 提案アルゴリズム(HHOSSA)は,SVMで96%の精度,2つの分類器で98%,98%の精度を達成した。
  論文  参考訳（メタデータ） (2022-12-25T19:52:18Z)
• Dynamic Cat Swarm Optimization Algorithm for Backboard Wiring Problem [0.9990687944474739]
  本稿では,動的キャット群最適化(Dynamic Cat Swarm Optimization)と呼ばれる,強力な群知能メタヒューリスティック最適化アルゴリズムを提案する。 提案アルゴリズムは,アルゴリズムの選択スキームと探索モードを変更することにより,これらの位相間の適切なバランスを与える新しい手法を提案する。 最適化の結果,提案アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2021-04-27T19:41:27Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator [62.26981903551382]
  バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。 本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。 この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-05-21T06:11:33Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
  本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。 古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。 我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
  論文  参考訳（メタデータ） (2020-03-04T15:27:11Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。