論文の概要: A large sample theory for infinitesimal gradient boosting
- arxiv url: http://arxiv.org/abs/2210.00736v1
- Date: Mon, 3 Oct 2022 06:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:41:54.800461
- Title: A large sample theory for infinitesimal gradient boosting
- Title（参考訳）: 無限小勾配促進のための大きなサンプル理論
- Authors: Clement Dombry and Jean-Jil Duchamps
- Abstract要約: 本研究は,本モデルにおいて,大規模なサンプル限界における挙動を考察し,その決定論的過程への収束性を証明するものである。
我々はこの人口制限のいくつかの特性を探求し、この力学がテスト誤差を減少させ、その長時間の挙動を考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infinitesimal gradient boosting is defined as the vanishing-learning-rate
limit of the popular tree-based gradient boosting algorithm from machine
learning (Dombry and Duchamps, 2021). It is characterized as the solution of a
nonlinear ordinary differential equation in a infinite-dimensional function
space where the infinitesimal boosting operator driving the dynamics depends on
the training sample. We consider the asymptotic behavior of the model in the
large sample limit and prove its convergence to a deterministic process. This
infinite population limit is again characterized by a differential equation
that depends on the population distribution. We explore some properties of this
population limit: we prove that the dynamics makes the test error decrease and
we consider its long time behavior.
- Abstract（参考訳）: Infinitesimal gradient boostingは、機械学習(Dombry and Duchamps, 2021)から人気のツリーベース勾配増強アルゴリズムの消滅学習率制限として定義される。
力学を駆動する無限小ブースティング作用素がトレーニングサンプルに依存する無限次元関数空間における非線形常微分方程式の解として特徴づけられる。
我々は,モデルの漸近的挙動を大きなサンプル限界において考慮し,その収束性を決定論的プロセスに証明する。
この無限の人口制限は、再び人口分布に依存する微分方程式によって特徴づけられる。
我々は,この分布限界の特性を探究する:動力学がテスト誤差を減少させることを証明し,その長期的挙動を考察する。
関連論文リスト
- Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - Sampling in Constrained Domains with Orthogonal-Space Variational
Gradient Descent [13.724361914659438]
多様体上のサンプリングのための直交空間勾配流(O-Gradient)を設計した新しい変分フレームワークを提案する。
我々は、O-Gradient が目標制約分布に収束し、弱条件下では、$widetildeO (1/textthe number of iterations)$$で収束することを証明した。
論文 参考訳（メタデータ） (2022-10-12T17:51:13Z) - Lassoed Tree Boosting [53.56229983630983]
有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。
我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
論文 参考訳（メタデータ） (2022-05-22T00:34:41Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Infinitesimal gradient boosting [0.0]
我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。
完全無作為化木とエクストラツリーを繋ぐ新種の無作為化回帰木を紹介します。
論文 参考訳（メタデータ） (2021-04-26T15:09:05Z) - Behavior of linear L2-boosting algorithms in the vanishing learning rate
asymptotic [0.0]
学習速度が0に収束し、繰り返し回数が再スケールされるとき、勾配向上アルゴリズムの挙動について検討する。
消滅する学習速度の限界を証明し、無限次元関数空間における線形微分方程式のユニークな解として限界を特徴づける。
論文 参考訳（メタデータ） (2020-12-29T08:37:54Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳（メタデータ） (2020-08-21T18:00:50Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳（メタデータ） (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。