論文の概要: Behavior of linear L2-boosting algorithms in the vanishing learning rate asymptotic

• arxiv url: http://arxiv.org/abs/2012.14657v1
• Date: Tue, 29 Dec 2020 08:37:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:29:31.350978
• Title: Behavior of linear L2-boosting algorithms in the vanishing learning rate asymptotic
• Title（参考訳）: 消失学習率漸近における線形L2ブースティングアルゴリズムの挙動
• Authors: Cl\'ement Dombry (UBFC, LMB), Youssef Esstafa (ENSAI)
• Abstract要約: 学習速度が0に収束し、繰り返し回数が再スケールされるとき、勾配向上アルゴリズムの挙動について検討する。 消滅する学習速度の限界を証明し、無限次元関数空間における線形微分方程式のユニークな解として限界を特徴づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the asymptotic behaviour of gradient boosting algorithms when the learning rate converges to zero and the number of iterations is rescaled accordingly. We mostly consider L2-boosting for regression with linear base learner as studied in B{\"u}hlmann and Yu (2003) and analyze also a stochastic version of the model where subsampling is used at each step (Friedman 2002). We prove a deterministic limit in the vanishing learning rate asymptotic and characterize the limit as the unique solution of a linear differential equation in an infinite dimensional function space. Besides, the training and test error of the limiting procedure are thoroughly analyzed. We finally illustrate and discuss our result on a simple numerical experiment where the linear L2-boosting operator is interpreted as a smoothed projection and time is related to its number of degrees of freedom.
• Abstract（参考訳）: 学習速度が0に収束し、繰り返し回数が再スケールされるとき、勾配向上アルゴリズムの漸近挙動について検討する。 B{\"u}hlmann と Yu (2003) で研究された線形ベースラーナによる回帰に対する L2-boosting を主に検討し、各ステップでサブサンプリングが使用される確率的なモデルも解析する(Friedman 2002)。 無限次元関数空間における線形微分方程式の一意解として、消失学習率の漸近的極限を証明し、その極限を特徴付ける。 また、制限手順のトレーニングおよびテスト誤差を徹底的に解析する。 線形L2ボスティング作用素を滑らかな射影と解釈し、時間はその自由度数に関係しているという簡単な数値実験で、我々の結果を論じ、議論する。

関連論文リスト

• Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms [28.046728466038022]
  ベクトル値出力を持つ多種多様な正規化アルゴリズムの理論的特性について検討する。 ベクトル値出力によるリッジ回帰に対するいわゆる飽和効果を厳密に検証する。 有限サンプルリスク一般ベクトル値スペクトルアルゴリズムの上限について述べる。
  論文  参考訳（メタデータ） (2024-05-23T16:45:52Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• A large sample theory for infinitesimal gradient boosting [0.0]
  我々は,モデルのアルゴリズムの挙動を大きなサンプル限界において考慮し,その収束性を決定論的プロセスに証明する。 我々はこの人口制限のいくつかの特性を探求し、この力学がテスト誤差を減少させ、その長時間の挙動を考察する。
  論文  参考訳（メタデータ） (2022-10-03T06:54:33Z)
• Whiplash Gradient Descent Dynamics [2.0508733018954843]
  凸関数に対するWhiplash系に対するシンプレクティック収束解析を導入する。 本研究では,アルゴリズムの性能を様々なコストで検討し,収束率を解析するための実践的方法論を提供する。
  論文  参考訳（メタデータ） (2022-03-04T05:47:26Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
  画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。 この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
  論文  参考訳（メタデータ） (2021-08-02T13:38:09Z)
• Infinitesimal gradient boosting [0.0]
  我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。 完全無作為化木とエクストラツリーを繋ぐ新種の無作為化回帰木を紹介します。
  論文  参考訳（メタデータ） (2021-04-26T15:09:05Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity [40.73281056650241]
  本稿では,真の勾配時間差学習アルゴリズムを設計・解析する原理的な方法として,近位勾配時間差学習を導入する。 本研究では, 従来の目的関数からではなく, 主目的関数から始めることによって, 勾配性TD強化学習法を公式に導出する方法を示す。
  論文  参考訳（メタデータ） (2020-06-06T21:04:21Z)
• On Learning Rates and Schr\"odinger Operators [105.32118775014015]
  本稿では,学習率の影響に関する一般的な理論的分析を行う。 学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
  論文  参考訳（メタデータ） (2020-04-15T09:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。