論文の概要: Margins are Insufficient for Explaining Gradient Boosting

• arxiv url: http://arxiv.org/abs/2011.04998v1
• Date: Tue, 10 Nov 2020 09:28:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 06:47:50.423362
• Title: Margins are Insufficient for Explaining Gradient Boosting
• Title（参考訳）: MarginsはGradient Boostingの説明に不十分である
• Authors: Allan Gr{\o}nlund, Lior Kamma, Kasper Green Larsen
• Abstract要約: ブースティングは機械学習において最も成功したアイデアの1つであり、微調整をほとんど行わずに優れた実用的なパフォーマンスを達成する。 我々はまず、最先端ブースターの性能を説明するのに、$k$'th margin boundが不十分であることを示す。 次に、$k$'thマージン境界の短絡を説明し、より強くより洗練されたマージンベース一般化を証明する。
• 参考スコア（独自算出の注目度）: 15.447966950703952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Boosting is one of the most successful ideas in machine learning, achieving great practical performance with little fine-tuning. The success of boosted classifiers is most often attributed to improvements in margins. The focus on margin explanations was pioneered in the seminal work by Schapire et al. (1998) and has culminated in the $k$'th margin generalization bound by Gao and Zhou (2013), which was recently proved to be near-tight for some data distributions (Gronlund et al. 2019). In this work, we first demonstrate that the $k$'th margin bound is inadequate in explaining the performance of state-of-the-art gradient boosters. We then explain the short comings of the $k$'th margin bound and prove a stronger and more refined margin-based generalization bound for boosted classifiers that indeed succeeds in explaining the performance of modern gradient boosters. Finally, we improve upon the recent generalization lower bound by Gr{\o}nlund et al. (2019).
• Abstract（参考訳）: ブースティングは機械学習において最も成功したアイデアの1つであり、微調整をほとんど行わずに優れた実用的なパフォーマンスを達成する。 強化された分類器の成功は、しばしばマージンの改善によるものである。 マージンの説明への焦点は、Schapire et al. (1998) の独創的な研究で開拓され、Gao と Zhou (2013) が束縛した$k$'th margin generalization において頂点に達した(Gronlund et al. 2019)。 本研究ではまず,最先端勾配ブースターの性能を説明する上で,$k$'th margin boundが不十分であることを示す。 次に、$k$'thマージン境界の短絡を説明し、現代の勾配ブースターの性能を説明することに成功し、より強くより洗練されたマージンベースの一般化を証明した。 最後に、gr{\o}nlund et al. (2019) による最近の一般化低域化について改善する。

関連論文リスト

• Doubly Mild Generalization for Offline Reinforcement Learning [50.084440946096]
  我々は,データセットを越えた軽度の一般化を信頼し,一定の条件下での性能向上に活用できることを実証した。 本研究では, (i) 軽度行動一般化と (ii) 軽度一般化伝搬からなる二重軽度一般化(DMG)を提案する。 DMGはGym-MuJoCoタスク間の最先端のパフォーマンスを実現し、AntMazeタスクに挑戦する。
  論文  参考訳（メタデータ） (2024-11-12T17:04:56Z)
• Benign Overfitting under Learning Rate Conditions for $α$ Sub-exponential Input [1.2430809884830318]
  重み付けされた入力の設定でも、良心的な過剰適合が持続することを示す。 これらの結果は、より現実的なデータ環境における現象のより深い理解に寄与する。
  論文  参考訳（メタデータ） (2024-09-01T14:49:48Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Fast Gradient Non-sign Methods [67.56549792690706]
  Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。 我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
  論文  参考訳（メタデータ） (2021-10-25T08:46:00Z)
• Fully-Corrective Gradient Boosting with Squared Hinge: Fast Learning Rates and Early Stopping [29.485528641599018]
  本稿では,二項分類の理論的一般化を保証する効率的なブースティング手法を提案する。 提案手法に対して,$cal O((m/log m)-1/4)$の高速学習率を導出する。 どちらの学習率も、分類のためのブースティング型手法の既存の一般化結果の中で最良である。
  論文  参考訳（メタデータ） (2020-04-01T00:39:24Z)
• SGLB: Stochastic Gradient Langevin Boosting [28.224889996383396]
  Gradient Langevin Boosting (SGLB)は、パワフルで効率的な機械学習フレームワークである。 SGLBは,0-1の損失関数を持つ分類タスクに適用した場合,古典的勾配向上よりも優れることを示す。
  論文  参考訳（メタデータ） (2020-01-20T20:44:52Z)
• On the Dual Formulation of Boosting Algorithms [92.74617630106559]
  AdaBoost,LogitBoost,Soft-marginBoostのラグランジュ問題は、すべて一般化されたヒンジ損失エントロピーの双対問題であることを示す。 これらのブースティングアルゴリズムの2つの問題を見て、より良いマージン分布を維持するという観点から、ブースティングの成功を理解することができることを示す。
  論文  参考訳（メタデータ） (2009-01-23T02:14:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。