論文の概要: Optimal Weighted Random Forests
- arxiv url: http://arxiv.org/abs/2305.10042v1
- Date: Wed, 17 May 2023 08:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 16:57:15.030838
- Title: Optimal Weighted Random Forests
- Title（参考訳）: 最適重み付きランダム林
- Authors: Xinyu Chen, Dalei Yu, Xinyu Zhang
- Abstract要約: ランダムフォレスト(RF)アルゴリズムは、その優れた柔軟性と有望な精度の予測方法として、非常に一般的なものとなっている。
1段重み付きRF(1step-WRF$_mathrmopt$)と2段重み付きRF(2steps-WRF$_mathrmopt$)という2つの最適アルゴリズムを提案する。
実世界のデータセットで行った数値研究は、これらのアルゴリズムが既存の文献で提案されている等重量の森林と他の2つの重み付きRFよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 8.962539518822684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The random forest (RF) algorithm has become a very popular prediction method
for its great flexibility and promising accuracy. In RF, it is conventional to
put equal weights on all the base learners (trees) to aggregate their
predictions. However, the predictive performances of different trees within the
forest can be very different due to the randomization of the embedded bootstrap
sampling and feature selection. In this paper, we focus on RF for regression
and propose two optimal weighting algorithms, namely the 1 Step Optimal
Weighted RF (1step-WRF$_\mathrm{opt}$) and 2 Steps Optimal Weighted RF
(2steps-WRF$_\mathrm{opt}$), that combine the base learners through the weights
determined by weight choice criteria. Under some regularity conditions, we show
that these algorithms are asymptotically optimal in the sense that the
resulting squared loss and risk are asymptotically identical to those of the
infeasible but best possible model averaging estimator. Numerical studies
conducted on real-world data sets indicate that these algorithms outperform the
equal-weight forest and two other weighted RFs proposed in existing literature
in most cases.
- Abstract（参考訳）: ランダムフォレスト(RF)アルゴリズムは、その優れた柔軟性と有望な精度の予測方法として非常に人気がある。
RFでは、全ての学習者(木)に同じ重みを付けて予測を行うのが一般的である。
しかし,森林内の異なる樹種の予測性能は,組込みブートストラップサンプリングのランダム化と特徴選択によって大きく異なる。
本稿では,回帰のためのRFに着目し,2つの重み付けアルゴリズム,すなわち1ステップ最適重み付けRF (1step-WRF$_\mathrm{opt}$) と2ステップ最適重み付けRF (2steps-WRF$_\mathrm{opt}$) を提案する。
いくつかの正規性条件の下では、これらのアルゴリズムが漸近的に最適であることを示し、結果として生じる二乗損失とリスクは、実現不可能だが最良のモデル平均推定量と漸近的に同一であることを示す。
実世界のデータセットで行った数値研究は、これらのアルゴリズムが既存の文献で提案されている2つの重み付きrfよりも優れていることを示している。
関連論文リスト
- Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。
本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
論文 参考訳（メタデータ） (2024-02-17T09:10:40Z) - Selection of the Most Probable Best [2.1095005405219815]
予測値ランキングと選択(R&S)問題では,すべてのk解のシミュレーション出力が,分布によって不確実性をモデル化可能な共通パラメータに依存する。
我々は、最も確率の高い最適解 (MPB) を、分布に関して最適である確率が最も大きい解と定義する。
最適化条件における未知の手段をその推定値に置き換えるアルゴリズムを考案し,シミュレーション予算が増加するにつれて,アルゴリズムのサンプリング比が条件を満たすことを証明した。
論文 参考訳（メタデータ） (2022-07-15T15:27:27Z) - WildWood: a new Random Forest algorithm [0.0]
WildWoodはランダムフォレスト(RF)タイプの教師あり学習のための新しいアンサンブルアルゴリズムである。
WWは、アウト・オブ・バグのスコアを計算するために、ブートストラップのアウト・オブ・バグのサンプルを使用する。
WWは、他の確立されたアンサンブル法と比較して高速で競争力がある。
論文 参考訳（メタデータ） (2021-09-16T14:36:56Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳（メタデータ） (2020-10-12T17:41:44Z) - AIN: Fast and Accurate Sequence Labeling with Approximate Inference
Network [75.44925576268052]
線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。
厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。
CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-17T12:18:43Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-08-17T16:56:06Z) - An Index-based Deterministic Asymptotically Optimal Algorithm for
Constrained Multi-armed Bandit Problems [0.0]
制約付きマルチアームバンディットのモデルでは、インデックスベースの決定論的最適アルゴリズムが存在することを示す。
我々は、T が地平線サイズ、A がバンディットの腕の集合であるような 1-O(|A|Te-T) として与えられる最適性の確率に制限された有限時間を与える。
論文 参考訳（メタデータ） (2020-07-29T01:54:22Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。