論文の概要: Infinitesimal gradient boosting

• arxiv url: http://arxiv.org/abs/2104.13208v1
• Date: Mon, 26 Apr 2021 15:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 02:38:54.616906
• Title: Infinitesimal gradient boosting
• Title（参考訳）: Infinitesimal gradient boosting
• Authors: Cl\'ement Dombry and Jean-Jil Duchamps
• Abstract要約: 我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。 完全無作為化木とエクストラツリーを繋ぐ新種の無作為化回帰木を紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We define infinitesimal gradient boosting as a limit of the popular tree-based gradient boosting algorithm from machine learning. The limit is considered in the vanishing-learning-rate asymptotic, that is when the learning rate tends to zero and the number of gradient trees is rescaled accordingly. For this purpose, we introduce a new class of randomized regression trees bridging totally randomized trees and Extra Trees and using a softmax distribution for binary splitting. Our main result is the convergence of the associated stochastic algorithm and the characterization of the limiting procedure as the unique solution of a nonlinear ordinary differential equation in a infinite dimensional function space. Infinitesimal gradient boosting defines a smooth path in the space of continuous functions along which the training error decreases, the residuals remain centered and the total variation is well controlled.
• Abstract（参考訳）: 我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。 この限界は、学習率がゼロになり、勾配木がリスケールされる場合の消失学習速度漸近性において考慮される。 そこで本研究では,完全ランダム化木とエクストラツリーをブリッジし,二分木分割にソフトマックス分布を用いるランダム化回帰木を新たに導入する。 我々の主な結果は、関連する確率アルゴリズムの収束と、無限次元関数空間における非線形常微分方程式の特異解としての極限過程の特性である。 無限小勾配ブースティングは、トレーニングエラーが減少し、残差が集中し、全体の変動がよく制御される連続関数空間における滑らかな経路を定義する。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,上層関数が非非有界な滑らかさであり,下層関数が強く凸であるような二層最適化問題のクラスについて検討する。 これらの問題は、ニューラルネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
  論文  参考訳（メタデータ） (2024-09-28T02:30:44Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Gradient is All You Need? [0.0]
  本稿では、コンセンサスに基づく勾配最適化(CBO)の解釈による学習アルゴリズムの理論的理解に関する新しい分析的視点を提供する。 本研究は,非局所景観関数の複雑さを軽減するため,CBOの本質的な能力を証明するものである。
  論文  参考訳（メタデータ） (2023-06-16T11:30:55Z)
• MinMax Networks [0.0]
  本稿では,連続的な分数次線形関数に対する離散的なMinMax学習手法について述べる。 制約付き片次線形関数学習の収束速度は、各局所線型領域の指数収束率と等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-15T16:30:33Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• A large sample theory for infinitesimal gradient boosting [0.0]
  我々は,モデルのアルゴリズムの挙動を大きなサンプル限界において考慮し,その収束性を決定論的プロセスに証明する。 我々はこの人口制限のいくつかの特性を探求し、この力学がテスト誤差を減少させ、その長時間の挙動を考察する。
  論文  参考訳（メタデータ） (2022-10-03T06:54:33Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Behavior of linear L2-boosting algorithms in the vanishing learning rate asymptotic [0.0]
  学習速度が0に収束し、繰り返し回数が再スケールされるとき、勾配向上アルゴリズムの挙動について検討する。 消滅する学習速度の限界を証明し、無限次元関数空間における線形微分方程式のユニークな解として限界を特徴づける。
  論文  参考訳（メタデータ） (2020-12-29T08:37:54Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。