Fugu-MT 論文翻訳(概要): SGLB: Stochastic Gradient Langevin Boosting

論文の概要: SGLB: Stochastic Gradient Langevin Boosting

arxiv url: http://arxiv.org/abs/2001.07248v5
Date: Sun, 16 Jan 2022 12:02:24 GMT
ステータス: 処理完了
システム内更新日: 2023-01-08 05:14:46.930315
Title: SGLB: Stochastic Gradient Langevin Boosting
Title（参考訳）: SGLB: 確率的勾配ランゲヴィンブースティング
Authors: Aleksei Ustimenko and Liudmila Prokhorenkova
Abstract要約: Gradient Langevin Boosting (SGLB)は、パワフルで効率的な機械学習フレームワークである。 SGLBは,0-1の損失関数を持つ分類タスクに適用した場合,古典的勾配向上よりも優れることを示す。
参考スコア（独自算出の注目度）: 28.224889996383396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper introduces Stochastic Gradient Langevin Boosting (SGLB) - a powerful and efficient machine learning framework that may deal with a wide range of loss functions and has provable generalization guarantees. The method is based on a special form of the Langevin diffusion equation specifically designed for gradient boosting. This allows us to theoretically guarantee the global convergence even for multimodal loss functions, while standard gradient boosting algorithms can guarantee only local optimum. We also empirically show that SGLB outperforms classic gradient boosting when applied to classification tasks with 0-1 loss function, which is known to be multimodal.
Abstract（参考訳）: 本稿では,確率勾配ランジュバンブースティング(sglb)について述べる。これは広範囲の損失関数を処理し,一般化を保証する強力な機械学習フレームワークである。この方法は、勾配加速のために特別に設計されたランゲヴィン拡散方程式の特別な形式に基づいている。これにより,マルチモーダル損失関数においても大域収束を理論的に保証できるが,標準勾配ブースティングアルゴリズムでは局所最適のみを保証できる。また,SGLBは,マルチモーダルであることが知られている0-1損失関数を持つ分類タスクに適用した場合,古典的勾配向上よりも優れることを示す。

関連論文リスト

Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials [15.718093624695552]
我々は、リアプノフポテンシャルと最適化に基づいて、グラディエント・ランゲヴィン・ダイナミクス(SGLD)のグローバル・ミニマへの収束を分析する。 2) SGLD に対する最初の有限勾配複雑性、3) 連続時間ランゲヴィンダイナミクスが最適化に成功するなら、次に離散時間 SGLD が穏やかな正則性仮定の下で成功することを証明する。
論文参考訳（メタデータ） (2024-07-05T05:34:10Z)
Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent [0.6522338519818377]
一般化損失関数の収束と回復の保証は、勾配流を通したトレーニングでは真であることを示す。また、この離散化は2層DIPネットワークの過パラメータ化に一定でしか影響しないことを示す。
論文参考訳（メタデータ） (2024-03-08T15:45:13Z)
Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
論文参考訳（メタデータ） (2023-08-11T08:44:58Z)
Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
論文参考訳（メタデータ） (2021-11-09T09:00:02Z)
Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization [120.31448970413298]
我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
論文参考訳（メタデータ） (2021-06-16T15:25:41Z)
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文参考訳（メタデータ） (2021-06-03T17:05:40Z)
On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
論文参考訳（メタデータ） (2021-02-26T18:58:29Z)
A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
論文参考訳（メタデータ） (2020-07-28T15:06:22Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)
On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文参考訳（メタデータ） (2020-04-15T09:52:37Z)
StochasticRank: Global Optimization of Scale-Free Discrete Functions [28.224889996383396]
本稿では,ランキングメトリクスを直接最適化する強力な,効率的なフレームワークを提案する。古典的平滑化アプローチは偏見を導入し, 適切な偏見の普遍解を示す。我々のフレームワークは任意のスケールフリー離散損失関数に適用できる。
論文参考訳（メタデータ） (2020-03-04T15:27:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。