論文の概要: Optimal Weighted Random Forests
- arxiv url: http://arxiv.org/abs/2305.10042v1
- Date: Wed, 17 May 2023 08:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 16:57:15.030838
- Title: Optimal Weighted Random Forests
- Title(参考訳): 最適重み付きランダム林
- Authors: Xinyu Chen, Dalei Yu, Xinyu Zhang
- Abstract要約: ランダムフォレスト(RF)アルゴリズムは、その優れた柔軟性と有望な精度の予測方法として、非常に一般的なものとなっている。
1段重み付きRF(1step-WRF$_mathrmopt$)と2段重み付きRF(2steps-WRF$_mathrmopt$)という2つの最適アルゴリズムを提案する。
実世界のデータセットで行った数値研究は、これらのアルゴリズムが既存の文献で提案されている等重量の森林と他の2つの重み付きRFよりも優れていることを示している。
- 参考スコア(独自算出の注目度): 8.962539518822684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The random forest (RF) algorithm has become a very popular prediction method
for its great flexibility and promising accuracy. In RF, it is conventional to
put equal weights on all the base learners (trees) to aggregate their
predictions. However, the predictive performances of different trees within the
forest can be very different due to the randomization of the embedded bootstrap
sampling and feature selection. In this paper, we focus on RF for regression
and propose two optimal weighting algorithms, namely the 1 Step Optimal
Weighted RF (1step-WRF$_\mathrm{opt}$) and 2 Steps Optimal Weighted RF
(2steps-WRF$_\mathrm{opt}$), that combine the base learners through the weights
determined by weight choice criteria. Under some regularity conditions, we show
that these algorithms are asymptotically optimal in the sense that the
resulting squared loss and risk are asymptotically identical to those of the
infeasible but best possible model averaging estimator. Numerical studies
conducted on real-world data sets indicate that these algorithms outperform the
equal-weight forest and two other weighted RFs proposed in existing literature
in most cases.
- Abstract(参考訳): ランダムフォレスト(RF)アルゴリズムは、その優れた柔軟性と有望な精度の予測方法として非常に人気がある。
RFでは、全ての学習者(木)に同じ重みを付けて予測を行うのが一般的である。
しかし,森林内の異なる樹種の予測性能は,組込みブートストラップサンプリングのランダム化と特徴選択によって大きく異なる。
本稿では,回帰のためのRFに着目し,2つの重み付けアルゴリズム,すなわち1ステップ最適重み付けRF (1step-WRF$_\mathrm{opt}$) と2ステップ最適重み付けRF (2steps-WRF$_\mathrm{opt}$) を提案する。
いくつかの正規性条件の下では、これらのアルゴリズムが漸近的に最適であることを示し、結果として生じる二乗損失とリスクは、実現不可能だが最良のモデル平均推定量と漸近的に同一であることを示す。
実世界のデータセットで行った数値研究は、これらのアルゴリズムが既存の文献で提案されている2つの重み付きrfよりも優れていることを示している。
関連論文リスト
- Adaptive Split Balancing for Optimal Random Forest [10.021381302215062]
データから木表現を学習できる適応型分割バランス林(ASBF)を導入する。
H"older class $mathcalHq,beta$ for any $qinmathbbN$ and $betain(0,1]$) でminimaxレートを達成するローカライズされたバージョンを提案する。
論文 参考訳(メタデータ) (2024-02-17T09:10:40Z) - Sliced Wasserstein with Random-Path Projecting Directions [54.40513432803776]
本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。
我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
論文 参考訳(メタデータ) (2024-01-29T04:59:30Z) - Accelerating Stochastic Probabilistic Inference [1.599072005190786]
変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。
最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。
我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
論文 参考訳(メタデータ) (2022-03-15T01:19:12Z) - WildWood: a new Random Forest algorithm [0.0]
WildWoodはランダムフォレスト(RF)タイプの教師あり学習のための新しいアンサンブルアルゴリズムである。
WWは、アウト・オブ・バグのスコアを計算するために、ブートストラップのアウト・オブ・バグのサンプルを使用する。
WWは、他の確立されたアンサンブル法と比較して高速で競争力がある。
論文 参考訳(メタデータ) (2021-09-16T14:36:56Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳(メタデータ) (2020-10-12T17:41:44Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳(メタデータ) (2020-08-17T16:56:06Z) - An Index-based Deterministic Asymptotically Optimal Algorithm for
Constrained Multi-armed Bandit Problems [0.0]
制約付きマルチアームバンディットのモデルでは、インデックスベースの決定論的最適アルゴリズムが存在することを示す。
我々は、T が地平線サイズ、A がバンディットの腕の集合であるような 1-O(|A|Te-T) として与えられる最適性の確率に制限された有限時間を与える。
論文 参考訳(メタデータ) (2020-07-29T01:54:22Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳(メタデータ) (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。