論文の概要: Lassoed Tree Boosting

• arxiv url: http://arxiv.org/abs/2205.10697v6
• Date: Fri, 8 Dec 2023 19:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 03:46:41.582475
• Title: Lassoed Tree Boosting
• Title（参考訳）: Lassoed Tree Boosting(英語)
• Authors: Alejandro Schuler, Yi Li, Mark van der Laan
• Abstract要約: 有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
• 参考スコア（独自算出の注目度）: 53.56229983630983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient boosting performs exceptionally in most prediction problems and scales well to large datasets. In this paper we prove that a ``lassoed'' gradient boosted tree algorithm with early stopping achieves faster than $n^{-1/4}$ L2 convergence in the large nonparametric space of cadlag functions of bounded sectional variation. This rate is remarkable because it does not depend on the dimension, sparsity, or smoothness. We use simulation and real data to confirm our theory and demonstrate empirical performance and scalability on par with standard boosting. Our convergence proofs are based on a novel, general theorem on early stopping with empirical loss minimizers of nested Donsker classes.
• Abstract（参考訳）: 勾配ブースティングは、ほとんどの予測問題で例外的に機能し、大規模なデータセットに対して十分にスケールする。 本稿では,有界断面変動のキャドラグ関数の大きい非パラメトリック空間において,早期停止による‘lassoed’勾配ブースト木アルゴリズムが$n^{-1/4}$ l2収束よりも高速であることが証明する。 この速度は、次元、スパーシティ、滑らかさには依存しないため、顕著である。 シミュレーションと実データを使って理論を検証し、標準のブースティングと同等の性能とスケーラビリティを実証します。 我々の収束証明は、ネストドンスカークラスの経験的損失最小化を伴う早期停止に関する新しい一般定理に基づいている。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Min-Max Optimization under Delays [26.830212508878162]
  大規模な機械学習問題では遅延と非同期は避けられない。 min-max最適化に類似した理論は存在しない。 たとえ小さな遅延であっても、エクストラグラディエントのような顕著なアルゴリズムが分岐する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-07-13T16:39:01Z)
• SoftTreeMax: Exponential Variance Reduction in Policy Gradient via Tree Search [68.66904039405871]
  我々は,計画を考慮したソフトマックスの一般化であるSoftTreeMaxを紹介する。 この分散を緩和する上で,木の拡大政策が果たす役割を初めて示す。 我々の分化可能なツリーベースのポリシーは、従来の単一サンプルベースの勾配ではなく、各環境における木の葉のすべての勾配を利用する。
  論文  参考訳（メタデータ） (2023-01-30T19:03:14Z)
• A Robust Hypothesis Test for Tree Ensemble Pruning [2.4923006485141284]
  そこで我々は,勾配増進木アンサンブルの分割品質に関する理論的に正当化された新しい仮説を考案し,提示する。 本手法は, 一般的なペナルティ条件ではなく, サンプル損失の低減につながることを示す。 また,この手法にいくつかの革新的な拡張を加えて,様々な新しい木刈りアルゴリズムの扉を開く。
  論文  参考訳（メタデータ） (2023-01-24T16:31:49Z)
• SkipNode: On Alleviating Performance Degradation for Deep Graph Convolutional Networks [84.30721808557871]
  我々は,深いGCNにおける性能劣化の根本的な原因を探るため,理論的および実験的解析を行う。 我々は,深いGCNの性能劣化を克服するために,シンプルで効果的なプラグイン・アンド・プレイモジュールであるSkipnodeを提案する。
  論文  参考訳（メタデータ） (2021-12-22T02:18:31Z)
• GBHT: Gradient Boosting Histogram Transform for Density Estimation [73.94900378709023]
  textitGradient Boosting Histogram Transform (GBHT) と呼ばれる密度推定アルゴリズムを提案する。 そこで本研究では,高揚化がベース学習者の性能向上に寄与する理由を理論的に説明するための最初の試みを行う。
  論文  参考訳（メタデータ） (2021-06-10T13:40:28Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Linear Last-iterate Convergence in Constrained Saddle-point Optimization [48.44657553192801]
  我々は、OGDA(Optimistic Gradient Descent Ascent)とOMWU(Optimistic Multiplicative Weights Update)に対する最終段階の独特さの理解を著しく拡大する。 平衡が一意である場合、線形終端収束は、値が普遍定数に設定された学習速度で達成されることを示す。 任意のポリトープ上の双線型ゲームがこの条件を満たすことを示し、OGDAは一意の平衡仮定なしで指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2020-06-16T20:53:04Z)
• Random Reshuffling: Simple Analysis with Vast Improvements [9.169947558498535]
  ランダムリシャッフル(Random Reshuffling, RR)は、データリシャッフルと共に反復降下ステップを利用する有限サム関数を最小化するアルゴリズムである。
  論文  参考訳（メタデータ） (2020-06-10T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。