Fugu-MT 論文翻訳(概要): SGLB: Stochastic Gradient Langevin Boosting

論文の概要: SGLB: Stochastic Gradient Langevin Boosting

arxiv url: http://arxiv.org/abs/2001.07248v5
Date: Sun, 16 Jan 2022 12:02:24 GMT
ステータス: 処理完了
システム内更新日: 2023-01-08 05:14:46.930315
Title: SGLB: Stochastic Gradient Langevin Boosting
Title（参考訳）: SGLB: 確率的勾配ランゲヴィンブースティング
Authors: Aleksei Ustimenko and Liudmila Prokhorenkova
Abstract要約: Gradient Langevin Boosting (SGLB)は、パワフルで効率的な機械学習フレームワークである。 SGLBは,0-1の損失関数を持つ分類タスクに適用した場合,古典的勾配向上よりも優れることを示す。
参考スコア（独自算出の注目度）: 28.224889996383396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces Stochastic Gradient Langevin Boosting (SGLB) - a powerful and efficient machine learning framework that may deal with a wide range of loss functions and has provable generalization guarantees. The method is based on a special form of the Langevin diffusion equation specifically designed for gradient boosting. This allows us to theoretically guarantee the global convergence even for multimodal loss functions, while standard gradient boosting algorithms can guarantee only local optimum. We also empirically show that SGLB outperforms classic gradient boosting when applied to classification tasks with 0-1 loss function, which is known to be multimodal.
Abstract（参考訳）: 本稿では,確率勾配ランジュバンブースティング(sglb)について述べる。これは広範囲の損失関数を処理し,一般化を保証する強力な機械学習フレームワークである。この方法は、勾配加速のために特別に設計されたランゲヴィン拡散方程式の特別な形式に基づいている。これにより,マルチモーダル損失関数においても大域収束を理論的に保証できるが,標準勾配ブースティングアルゴリズムでは局所最適のみを保証できる。また,SGLBは,マルチモーダルであることが知られている0-1損失関数を持つ分類タスクに適用した場合,古典的勾配向上よりも優れることを示す。

関連論文リスト

Random Feature Representation Boosting [2.389598109913754]
本稿では, ブースティング理論を用いて, RFNNを構成する新しい手法であるRandom Feature Representation Boosting(RFRBoost)を紹介する。 RFRBoostは各レイヤでランダムな機能を使用してネットワーク表現の機能的勾配を学習し、RFNNの凸最適化の利点を保ちながら性能を向上させる。
論文参考訳（メタデータ） (2025-01-30T11:46:00Z)
Gradient-Based Non-Linear Inverse Learning [2.6149030745627644]
ランダム設計下での非線形逆問題の文脈における統計的逆学習について検討する。勾配勾配勾配 (GD) と降下勾配 (SGD) を, それぞれ一定のステップサイズを用いて小バッチで適用した。我々の分析は、対象関数の滑らかさに関する古典的な前提条件の下で、両方のアルゴリズムの収束率を導出する。
論文参考訳（メタデータ） (2024-12-21T22:38:17Z)
Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials [15.718093624695552]
我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。 2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
論文参考訳（メタデータ） (2024-07-05T05:34:10Z)
Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
論文参考訳（メタデータ） (2021-11-09T09:00:02Z)
Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization [120.31448970413298]
我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:25:41Z)
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文参考訳（メタデータ） (2021-06-03T17:05:40Z)
On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
論文参考訳（メタデータ） (2021-02-26T18:58:29Z)
A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
論文参考訳（メタデータ） (2020-07-28T15:06:22Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文参考訳（メタデータ） (2020-04-15T09:52:37Z)
StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
論文参考訳（メタデータ） (2020-03-04T15:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。