論文の概要: Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping
- arxiv url: http://arxiv.org/abs/2004.00179v1
- Date: Wed, 1 Apr 2020 00:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 18:19:24.832024
- Title: Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning
Rates and Early Stopping
- Title（参考訳）: 正方形ヒンジによる完全補正勾配昇降:高速学習と早期停止
- Authors: Jinshan Zeng, Min Zhang and Shao-Bo Lin
- Abstract要約: 本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。
提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。
どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
- 参考スコア（独自算出の注目度）: 29.485528641599018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Boosting is a well-known method for improving the accuracy of weak learners
in machine learning. However, its theoretical generalization guarantee is
missing in literature. In this paper, we propose an efficient boosting method
with theoretical generalization guarantees for binary classification. Three key
ingredients of the proposed boosting method are: a) the
\textit{fully-corrective greedy} (FCG) update in the boosting procedure, b) a
differentiable \textit{squared hinge} (also called \textit{truncated
quadratic}) function as the loss function, and c) an efficient alternating
direction method of multipliers (ADMM) algorithm for the associated FCG
optimization. The used squared hinge loss not only inherits the robustness of
the well-known hinge loss for classification with outliers, but also brings
some benefits for computational implementation and theoretical justification.
Under some sparseness assumption, we derive a fast learning rate of the order
${\cal O}((m/\log m)^{-1/4})$ for the proposed boosting method, which can be
further improved to ${\cal O}((m/\log m)^{-1/2})$ if certain additional noise
assumption is imposed, where $m$ is the size of sample set. Both derived
learning rates are the best ones among the existing generalization results of
boosting-type methods for classification. Moreover, an efficient early stopping
scheme is provided for the proposed method. A series of toy simulations and
real data experiments are conducted to verify the developed theories and
demonstrate the effectiveness of the proposed method.
- Abstract（参考訳）: boostingは、機械学習における弱い学習者の正確性を改善するためのよく知られた方法である。
しかし、理論上の一般化保証は文献に欠けている。
本稿では,二元分類の理論的一般化を保証した効率的なブースティング手法を提案する。
提案手法の主な要素は次の3つである。
a) ブースティング手順における \textit{fully-corrective greedy} (FCG) の更新
b) 微分可能な \textit{squaredhinge} ( \textit{truncated quadratic} とも呼ばれる) は損失関数として機能し、
c) FCG最適化のための乗算器アルゴリズム(ADMM)の効率的な交互方向法。
使用済みの2乗ヒンジ損失は、外れ値を持つ分類においてよく知られたヒンジ損失のロバスト性を継承するだけでなく、計算の実装と理論的正当化にもいくつかの利点をもたらす。
あるスパースネス仮定の下では、提案されたブースティング法に対して、${\cal O}((m/\log m)^{-1/4})$の高速学習率を導出し、さらに${\cal O}((m/\log m)^{-1/2})$に改善することができる。
両方の派生学習率は、分類のためのブースティング型手法の既存の一般化結果の中で最良のものである。
さらに,提案手法に対して効率的な早期停止方式を提案する。
提案手法の有効性を実証するために,一連の玩具シミュレーションと実データ実験を行った。
関連論文リスト
- Sample-Efficient Agnostic Boosting [19.15484761265653]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、既知のすべてのブースティングアルゴリズムよりも4次的に標本効率が高いという、不可知的なブースティング手法を超越している。
アルゴリズムの重要な特徴は、一様収束引数のブラックボックスアプリケーションで得られるものよりも厳密な一般化誤差を保証しつつ、複数ラウンドのブースティングのサンプルを再利用する能力を活用することである。
論文 参考訳（メタデータ） (2024-10-31T04:50:29Z) - Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。
WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文 参考訳（メタデータ） (2024-10-28T04:47:39Z) - Understanding Gradient Boosting Classifier: Training, Prediction, and the Role of $γ_j$ [2.44755919161855]
Gradient Boosting (GBC) は、二項分類のための機械学習アルゴリズムである。
本論文は,終端ノード値の計算に焦点をあてて,トレーニングと予測のプロセスを説明する。
私たちは、読者が理解できるように、付録にステップバイステップの例を提供します。
論文 参考訳（メタデータ） (2024-10-08T02:11:35Z) - Active Learning for Level Set Estimation Using Randomized Straddle Algorithms [18.96269063427081]
本稿では,関数が与えられたしきい値の上(または下)に値を取る入力点の集合を同定する新しい手法を提案する。
提案手法の信頼性パラメータは,反復数や候補点に依存しず,保守的でないという利点がある。
論文 参考訳（メタデータ） (2024-08-06T12:39:12Z) - How to Boost Any Loss Function [63.573324901948716]
損失関数はブースティングにより最適化可能であることを示す。
また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
論文 参考訳（メタデータ） (2024-07-02T14:08:23Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - MP-Boost: Minipatch Boosting via Adaptive Feature and Observation
Sampling [0.0]
MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。
様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
論文 参考訳（メタデータ） (2020-11-14T04:26:13Z) - StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。
古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。
我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
論文 参考訳（メタデータ） (2020-03-04T15:27:11Z) - On the Dual Formulation of Boosting Algorithms [92.74617630106559]
AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。
これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
論文 参考訳（メタデータ） (2009-01-23T02:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。