論文の概要: Treeging
- arxiv url: http://arxiv.org/abs/2110.01053v1
- Date: Sun, 3 Oct 2021 17:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 15:43:23.109018
- Title: Treeging
- Title（参考訳）: 植木
- Authors: Gregory L. Watson, Michael Jerrett, Colleen E. Reid, Donatello Telesca
- Abstract要約: 木組みは回帰木の柔軟な平均構造と、アンサンブル予測アルゴリズムのベース学習者へのクリグの共分散に基づく予測戦略を組み合わせる。
本研究では,空間及び時空シミュレーションシナリオの網羅的かつ広範囲な電池を横断するツリーングの予測精度について検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Treeging combines the flexible mean structure of regression trees with the
covariance-based prediction strategy of kriging into the base learner of an
ensemble prediction algorithm. In so doing, it combines the strengths of the
two primary types of spatial and space-time prediction models: (1) models with
flexible mean structures (often machine learning algorithms) that assume
independently distributed data, and (2) kriging or Gaussian Process (GP)
prediction models with rich covariance structures but simple mean structures.
We investigate the predictive accuracy of treeging across a thorough and widely
varied battery of spatial and space-time simulation scenarios, comparing it to
ordinary kriging, random forest and ensembles of ordinary kriging base
learners. Treeging performs well across the board, whereas kriging suffers when
dependence is weak or in the presence of spurious covariates, and random forest
suffers when the covariates are less informative. Treeging also outperforms
these competitors in predicting atmospheric pollutants (ozone and PM$_{2.5}$)
in several case studies. We examine sensitivity to tuning parameters (number of
base learners and training data sampling proportion), finding they follow the
familiar intuition of their random forest counterparts. We include a discussion
of scaleability, noting that any covariance approximation techniques that
expedite kriging (GP) may be similarly applied to expedite treeging.
- Abstract（参考訳）: 木組みは回帰木の柔軟な平均構造と、アンサンブル予測アルゴリズムのベース学習者へのクリグの共分散に基づく予測戦略を組み合わせる。
その結果,(1)独立分散データを仮定するフレキシブルな平均構造(しばしば機械学習アルゴリズム)を持つモデル,(2)リッチな共分散構造と単純な平均構造を持つkriging or gaussian process (gp)予測モデルという2つの主要なタイプの空間的および時空間的予測モデルの強みを組み合わせることができた。
本研究では,広範に多様な空間的および時空間的シミュレーションシナリオにおけるトリーイングの予測精度について検討し,通常のクリギング,ランダムフォレスト,通常のクリギングベース学習者のアンサンブルと比較した。
木はボード全体でよく機能するが、クリギングは依存が弱かったり、急激な共変種の存在で苦しめられ、無作為な森林は共変種が情報に乏しいときに苦しむ。
トリーギングは、いくつかのケーススタディにおいて、大気汚染物質(オゾンおよびPM$_{2.5}$)の予測において、これらの競合よりも優れている。
本研究では,学習者数と学習データサンプリング率の調整パラメータに対する感度について検討し,無作為な森林の直感に追従した。
拡張性に関する議論は、GP(Expedite kriging)を高速化する共分散近似手法も同様に、ツリーングに応用できることに言及する。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Local Risk Bounds for Statistical Aggregation [5.940699390639279]
我々は、Lung と Barron による指数重み推定器の古典的境界の局所化バージョンと Q-集約推定器の偏差最適境界を証明した。
これらの境界は、固定設計回帰のための Dai, Rigollet と Zhang の結果とランダム設計回帰のための Lecu'e と Rigollet の結果よりも改善されている。
論文 参考訳（メタデータ） (2023-06-29T17:51:42Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - On Uncertainty Estimation by Tree-based Surrogate Models in Sequential
Model-based Optimization [13.52611859628841]
予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。
BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。
実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
論文 参考訳（メタデータ） (2022-02-22T04:50:37Z) - A cautionary tale on fitting decision trees to data from additive
models: generalization lower bounds [9.546094657606178]
本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。
これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。
スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
論文 参考訳（メタデータ） (2021-10-18T21:22:40Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Parsimonious Inference [0.0]
parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。
提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
論文 参考訳（メタデータ） (2021-03-03T04:13:14Z) - Achieving Reliable Causal Inference with Data-Mined Variables: A Random
Forest Approach to the Measurement Error Problem [1.5749416770494704]
一般的な実証的戦略は、利用可能なデータから関心のある変数を'マイニング'する予測モデリング手法の適用を含む。
最近の研究は、機械学習モデルからの予測は必然的に不完全であるため、予測変数に基づく計量分析は測定誤差によるバイアスに悩まされる可能性が高いことを強調している。
ランダムフォレストと呼ばれるアンサンブル学習技術を用いて,これらのバイアスを軽減する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-12-19T21:48:23Z) - CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。
CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文 参考訳（メタデータ） (2020-09-28T09:49:38Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。