論文の概要: Kernel-based L_2-Boosting with Structure Constraints
- arxiv url: http://arxiv.org/abs/2009.07558v1
- Date: Wed, 16 Sep 2020 08:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 23:09:40.725861
- Title: Kernel-based L_2-Boosting with Structure Constraints
- Title(参考訳): 構造制約を考慮したカーネルベースL_2ブースティング
- Authors: Yao Wang, Xin Guo, Shao-Bo Lin
- Abstract要約: 我々はカーネルベース再スケールブースティングと呼ばれるカーネルベースの学習アルゴリズムを提案し、KReBooTと呼ぶ。
提案したKReBooTは, 推定器の構造を制御し, スパース推定を行い, ほぼオーバーフィッティング耐性を有する。
- 参考スコア(独自算出の注目度): 25.288986409497443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing efficient kernel methods for regression is very popular in the
past decade. In this paper, utilizing boosting on kernel-based weaker learners,
we propose a novel kernel-based learning algorithm called kernel-based
re-scaled boosting with truncation, dubbed as KReBooT. The proposed KReBooT
benefits in controlling the structure of estimators and producing sparse
estimate, and is near overfitting resistant. We conduct both theoretical
analysis and numerical simulations to illustrate the power of KReBooT.
Theoretically, we prove that KReBooT can achieve the almost optimal numerical
convergence rate for nonlinear approximation. Furthermore, using the recently
developed integral operator approach and a variant of Talagrand's concentration
inequality, we provide fast learning rates for KReBooT, which is a new record
of boosting-type algorithms. Numerically, we carry out a series of simulations
to show the promising performance of KReBooT in terms of its good
generalization, near over-fitting resistance and structure constraints.
- Abstract(参考訳): 回帰のための効率的なカーネルメソッドの開発は、ここ10年で非常に人気がある。
本稿では、カーネルベースの弱い学習者に対する強化を利用して、カーネルベースの再スケール強化と呼ばれる新しい学習アルゴリズムを提案する。
提案したKReBooTは, 推定器の構造を制御し, スパース推定を行い, ほぼオーバーフィッティング耐性を有する。
我々はKReBooTのパワーを説明するために理論的解析と数値シミュレーションの両方を行う。
理論的には、KReBooTは非線形近似に対するほぼ最適な数値収束率を達成できる。
さらに,最近開発された積分演算子法とtalagrandの濃度不等式の変種を用いて,ブースティング型アルゴリズムの新記録であるkrebootに対して,高速な学習率を提供する。
数値的に, krebootの優れた一般化, 過フィッティング耐性, 構造制約の観点から, 有望な性能を示す一連のシミュレーションを行った。
関連論文リスト
- Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。
CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。
NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文 参考訳(メタデータ) (2023-10-28T06:41:47Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - A Novel Framework for Improving the Breakdown Point of Robust Regression
Algorithms [1.9594639581421422]
本稿では,頑健な回帰アルゴリズムの分解点を改善するための効果的なフレームワークを提案する。
反復局所探索(CORALS)を用いた一貫した頑健な回帰アルゴリズムを導出する。
論文 参考訳(メタデータ) (2023-05-20T15:59:33Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳(メタデータ) (2022-10-02T05:03:38Z) - Importance Weighting Approach in Kernel Bayes' Rule [43.221685127485735]
本研究では,特徴量を用いたベイズ計算における非パラメトリック手法について検討する。
ベイズ更新に関わる全ての量は観測データから学習され、この手法は完全にモデル無しである。
提案手法は重要度重み付けに基づいており,既存のKBR手法よりも優れた数値安定性が得られる。
論文 参考訳(メタデータ) (2022-02-05T03:06:59Z) - Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。
実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文 参考訳(メタデータ) (2021-06-03T17:05:40Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳(メタデータ) (2021-04-14T09:22:42Z) - Weighted Neural Tangent Kernel: A Generalized and Improved
Network-Induced Kernel [20.84988773171639]
Neural Tangent Kernel(NTK)は、勾配降下によって訓練された過剰パラメーターニューラルネットワーク(NN)の進化を記述することで、近年、激しい研究を惹きつけている。
Weighted Neural Tangent Kernel (WNTK) は、一般化された改良されたツールであり、異なる勾配の下でパラメータ化されたNNのトレーニングダイナミクスをキャプチャすることができる。
提案する重み更新アルゴリズムでは,実験値と解析値の両方が,数値実験において対応するntkを上回っている。
論文 参考訳(メタデータ) (2021-03-22T03:16:20Z) - Adaptive Discretization for Model-Based Reinforcement Learning [10.21634042036049]
本稿では,適応離散化手法を導入し,効率的なモデルに基づくエピソード強化学習アルゴリズムを設計する。
我々のアルゴリズムは、空間の適応的な離散化を維持するために拡張された楽観的なワンステップ値反復に基づいている。
論文 参考訳(メタデータ) (2020-07-01T19:36:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。