論文の概要: Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection
- arxiv url: http://arxiv.org/abs/2603.23658v1
- Date: Tue, 24 Mar 2026 19:01:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:10.997357
- Title: Boost Like a (Var)Pro: Trust-Region Gradient Boosting via Variable Projection
- Title（参考訳）: Boost Like a (Var)Pro: 可変投影による信頼度勾配ブースティング
- Authors: Abhijit Chowdhary, Elizabeth Newman, Deepanshu Verma,
- Abstract要約: textttVPBoostは、分離可能なモデルのトレーニングパラダイムである可変プロジェクションと、2階の弱い学習戦略を融合する。
VPBoostは、勾配に基づくブースティングと比較して、評価指標が改善されたアンサンブルを学習する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient boosting, a method of building additive ensembles from weak learners, has established itself as a practical and theoretically-motivated approach to approximate functions, especially using decision tree weak learners. Comparable methods for smooth parametric learners, such as neural networks, remain less developed in both training methodology and theory. To this end, we introduce \texttt{VPBoost} ({\bf V}ariable {\bf P}rojection {\bf Boost}ing), a gradient boosting algorithm for separable smooth approximators, i.e., models with a smooth nonlinear featurizer followed by a final linear mapping. \texttt{VPBoost} fuses variable projection, a training paradigm for separable models that enforces optimality of the linear weights, with a second-order weak learning strategy. The combination of second-order boosting, separable models, and variable projection give rise to a closed-form solution for the optimal linear weights and a natural interpretation of \VPBoost as a functional trust-region method. We thereby leverage trust-region theory to prove \VPBoost converges to a stationary point under mild geometric conditions and, under stronger assumptions, achieves a superlinear convergence rate. Comprehensive numerical experiments on synthetic data, image recognition, and scientific machine learning benchmarks demonstrate that \VPBoost learns an ensemble with improved evaluation metrics in comparison to gradient-descent-based boosting and attains competitive performance relative to an industry-standard decision tree boosting algorithm.
- Abstract（参考訳）: 弱い学習者から付加的なアンサンブルを構築する方法であるグラディエント・ブースティングは、特に決定木弱い学習者を用いて、近似関数に対する実践的で理論的に動機づけられたアプローチとして確立されている。
ニューラルネットワークのようなスムーズなパラメトリック学習者のための比較可能な手法は、トレーニング方法論と理論の両方において開発が進んでいない。
この目的のために, 分離可能な滑らかな近似器, すなわちスムーズな非線形デファクチュリライザを持つモデルに対する勾配促進アルゴリズムである \texttt{VPBoost} ({\bf V}ariable {\bf P}rojection {\bf Boost}ing) を導入する。
\texttt{VPBoost}は、線形重みの最適性を強制する分離可能なモデルの訓練パラダイムである可変射影を2階弱学習戦略で融合する。
2階昇降、分離可能なモデル、および可変射影の組み合わせは、最適線形重みに対する閉形式解と機能的信頼領域法としての \VPBoost の自然な解釈をもたらす。
したがって、信頼領域理論を活用して、緩やかな幾何学的条件下で \VPBoost が定常点に収束することを証明し、強い仮定の下で超線型収束率を達成する。
合成データ、画像認識、および科学機械学習ベンチマークに関する総合的な数値実験により、 \VPBoostは、勾配依存性に基づくブースティングと比較して、改善された評価指標でアンサンブルを学習し、業界標準の決定木ブースティングアルゴリズムと比較して競争性能を得ることを示した。
関連論文リスト
- OBLR-PO: A Theoretical Framework for Stable Reinforcement Learning [12.77713716713937]
一般的な政策次数推定器の統計特性を特徴付ける統一理論フレームワークを提供する。
勾配の信号対雑音比(SNR)によって制御される適応的な学習率スケジュールを導出する。
さらに、分散-最適基底線が勾配重み付き推定器であることを示し、分散還元の新しい原理を提供する。
論文 参考訳（メタデータ） (2025-11-28T16:09:28Z) - Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。
CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
論文 参考訳（メタデータ） (2025-09-29T19:50:19Z) - Boosting Revisited: Benchmarking and Advancing LP-Based Ensemble Methods [8.506109712599827]
我々は,NM-BoostとQRLP-Boostの2つの新しい方法を含む,LPをベースとした6つのブースティング定式化の大規模実験を行った。
これらの定式化におけるアンサンブルと最適ベースラーナーの併用性を評価する。
XGBoost や LightGBM のような浅い木を用いる場合、完全に修正された手法は、最先端の手法よりも優れることを示す。
論文 参考訳（メタデータ） (2025-07-24T09:30:37Z) - Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。
本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
論文 参考訳（メタデータ） (2025-06-02T17:34:29Z) - Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列コンピューティングを実現するアルゴリズムであるPISAを開発し,様々な前提条件をサポートする。
これは、有界領域上の勾配のリプシッツ連続性の唯一の仮定の下で収束し、メソッドによって一般的に課される他の条件の必要性を取り除く。
様々な最先端の繰り返しに比べて優れた数値性能を示す。
論文 参考訳（メタデータ） (2025-02-15T12:28:51Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳（メタデータ） (2022-09-04T12:49:20Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる
新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
論文 参考訳（メタデータ） (2021-05-13T04:23:07Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - A Precise High-Dimensional Asymptotic Theory for Boosting and
Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。
統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。
また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
論文 参考訳（メタデータ） (2020-02-05T00:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。