論文の概要: Random Forests for dependent data

• arxiv url: http://arxiv.org/abs/2007.15421v2
• Date: Mon, 28 Jun 2021 15:10:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 13:59:30.598173
• Title: Random Forests for dependent data
• Title（参考訳）: 依存データのためのランダムフォレスト
• Authors: Arkajyoti Saha, Sumanta Basu, Abhirup Datta
• Abstract要約: 本稿では,RFの新たな拡張であるRF-GLSを提案する。 この拡張の鍵は、大域的OLS最適化として回帰木における局所的な決定の等価表現である。 RF-GLSによるRFの予測と予測の精度向上を実験的に実証した。
• 参考スコア（独自算出の注目度）: 1.5469452301122173
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random forest (RF) is one of the most popular methods for estimating regression functions. The local nature of the RF algorithm, based on intra-node means and variances, is ideal when errors are i.i.d. For dependent error processes like time series and spatial settings where data in all the nodes will be correlated, operating locally ignores this dependence. Also, RF will involve resampling of correlated data, violating the principles of bootstrap. Theoretically, consistency of RF has been established for i.i.d. errors, but little is known about the case of dependent errors. We propose RF-GLS, a novel extension of RF for dependent error processes in the same way Generalized Least Squares (GLS) fundamentally extends Ordinary Least Squares (OLS) for linear models under dependence. The key to this extension is the equivalent representation of the local decision-making in a regression tree as a global OLS optimization which is then replaced with a GLS loss to create a GLS-style regression tree. This also synergistically addresses the resampling issue, as the use of GLS loss amounts to resampling uncorrelated contrasts (pre-whitened data) instead of the correlated data. For spatial settings, RF-GLS can be used in conjunction with Gaussian Process correlated errors to generate kriging predictions at new locations. RF becomes a special case of RF-GLS with an identity working covariance matrix. We establish consistency of RF-GLS under beta- (absolutely regular) mixing error processes and show that this general result subsumes important cases like autoregressive time series and spatial Matern Gaussian Processes. As a byproduct, we also establish consistency of RF for beta-mixing processes, which to our knowledge, is the first such result for RF under dependence. We empirically demonstrate the improvement achieved by RF-GLS over RF for both estimation and prediction under dependence.
• Abstract（参考訳）: ランダムフォレスト(RF)は回帰関数を推定する最も一般的な手法の1つである。 RFアルゴリズムの局所的な性質は、ノード内平均と分散に基づいており、エラーが等しく、すなわち時系列や空間設定のような依存するエラープロセスでは、全てのノード内のデータが相関して動作するため、局所的にこの依存を無視する。 また、RFは相関データを再サンプリングし、ブートストラップの原則に違反します。 理論的には、RFの整合性はI.d.エラーに対して確立されているが、依存誤差の場合についてはほとんど知られていない。 本稿では,依存性を持つ線形モデルに対する一般化最小二乗法 (gls) を基本に拡張するのと同様に,依存誤差過程に対するrfの新たな拡張である rf-gls を提案する。 この拡張の鍵は、グローバルなOLS最適化としてレグレッションツリーにおける局所的な決定の等価表現であり、その後、GLS損失に置き換えられ、GLSスタイルのレグレッションツリーを生成する。 これはまた、GLS損失量を用いて相関データの代わりに非相関コントラスト(前白化データ)を再サンプリングするため、再サンプリング問題にも相乗的に対処する。 空間的設定では、RF-GLSとガウス過程の相関誤差を併用して、新しい場所でクリグ予測を生成することができる。 RF は恒等作用共分散行列を持つ RF-GLS の特別な場合となる。 ベータ(絶対正則)混合誤差過程下でのRF-GLSの整合性を確立し、この一般結果が自己回帰時系列や空間母ガウス過程などの重要な事例を仮定することを示す。 副産物として、我々はベータ混合プロセスにおいてRFの整合性を確立する。 RF-GLSによるRFの予測と予測の精度向上を実験的に実証した。

関連論文リスト

• Optimal Kernel Quantile Learning with Random Features [0.9208007322096533]
  本稿では、ランダムな特徴を持つカーネル量子化回帰(KQR-RF)の一般化研究について述べる。 本研究は,KQR-RFの能力依存学習率を,RF数に対する軽度条件下で確立する。 我々の仮定を少し修正することによって、キャパシティに依存した誤差解析が、リプシッツ連続損失のケースにも適用できる。
  論文  参考訳（メタデータ） (2024-08-24T14:26:09Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Random forests for binary geospatial data [0.0]
  本研究では、非線形共変量効果を推定するためにランダムフォレストを用いたRF-GPと、空間ランダム効果をモデル化するためのガウス過程を提案する。 RF-GPは、シミュレーションデータと実世界のデータの両方において、推定と予測のための既存のRF法より優れている。 空間的Mat'ern GPや自己回帰過程のような一般的な選択を含む、$beta$-mixing二元過程の一般クラスに対するRF-GPの整合性を確立する。
  論文  参考訳（メタデータ） (2023-02-27T14:34:33Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Distributionally Robust Multi-Output Regression Ranking [3.9318191265352196]
  DRMRR(Distributedally Robust Multi-output Regression Ranking)と呼ばれるリストワイズ学習ランクモデルを導入する。 DRMRRは分散ロバスト最適化フレームワークを使用して、経験的データ分布の近傍で最も有害な分布の下でのマルチ出力損失関数を最小化する。 本実験は,医用文書検索と薬物反応予測の2つの実世界の応用について行った。
  論文  参考訳（メタデータ） (2021-09-27T05:19:27Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
  因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
  論文  参考訳（メタデータ） (2020-09-28T09:49:38Z)
• Deep Gaussian Markov Random Fields [17.31058900857327]
  GMRFと畳み込みニューラルネットワーク(CNN)の正式な接続を確立する。 共通GMRFは、データから潜伏変数への逆写像が1層線形CNNによって与えられる生成モデルの特別な場合である。 本稿では,オートディフや変分推論などの確立したツールが,深部GMRFの簡易かつ効率的な推論と学習にどのように利用できるかを述べる。
  論文  参考訳（メタデータ） (2020-02-18T10:06:39Z)
• Learning Hybrid Representation by Robust Dictionary Learning in Factorized Compressed Space [84.37923242430999]
  本研究では,高次圧縮空間における高次低ランクとスパース表現のハイブリッド化を実現するために,頑健な辞書学習(DL)について検討する。 共用ロバスト因子化と射影辞書学習(J-RFDL)モデルを提案する。
  論文  参考訳（メタデータ） (2019-12-26T06:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。