論文の概要: Stability of Random Forests and Coverage of Random-Forest Prediction Intervals

• arxiv url: http://arxiv.org/abs/2310.18814v1
• Date: Sat, 28 Oct 2023 20:38:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 16:15:50.449830
• Title: Stability of Random Forests and Coverage of Random-Forest Prediction Intervals
• Title（参考訳）: ランダム森林の安定性とランダムフォレスト予測区間の被覆
• Authors: Yan Wang, Huaiqing Wu, Dan Nettleton
• Abstract要約: 本研究では,無作為林のアウト・オブ・バグ・エラーから構築した予測区間の被覆確率の非漸近的下限を証明した。 本研究は, ランダム森林の安定性は, 良好な点予測だけでなく, 余分な計算コストを伴わずに, 最適区間予測を実現できる機械学習手法であることを示唆している。
• 参考スコア（独自算出の注目度）: 4.067407250874754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish stability of random forests under the mild condition that the squared response ($Y^2$) does not have a heavy tail. In particular, our analysis holds for the practical version of random forests that is implemented in popular packages like \texttt{randomForest} in \texttt{R}. Empirical results show that stability may persist even beyond our assumption and hold for heavy-tailed $Y^2$. Using the stability property, we prove a non-asymptotic lower bound for the coverage probability of prediction intervals constructed from the out-of-bag error of random forests. With another mild condition that is typically satisfied when $Y$ is continuous, we also establish a complementary upper bound, which can be similarly established for the jackknife prediction interval constructed from an arbitrary stable algorithm. We also discuss the asymptotic coverage probability under assumptions weaker than those considered in previous literature. Our work implies that random forests, with its stability property, is an effective machine learning method that can provide not only satisfactory point prediction but also justified interval prediction at almost no extra computational cost.
• Abstract（参考訳）: ランダム林の安定性は,二乗応答(y^2$)が重い尾を持たないという穏やかな条件下で確立する。 特に,この解析は,\texttt{randomforest} や \texttt{r} といった一般的なパッケージに実装されたランダムフォレストの実用バージョンを想定している。 実験の結果、安定性は仮定を超えても持続する可能性があり、y^2$の重い値を持つことがわかった。 安定特性を用いて,ランダム林のアウト・オブ・バッグ誤差から構築した予測区間のカバレッジ確率について非漸近下限を証明した。 y$ が連続であるときに通常満足される別の穏やかな条件とともに、任意の安定アルゴリズムから構築された jackknife 予測区間に対しても同様に確立される補完的な上界も確立する。 また,従来の文献よりも弱い仮定下での漸近的被覆確率についても考察した。 本研究は, ランダム森林の安定性は, 良好な点予測だけでなく, 余分な計算コストを伴わずに, 最適区間予測を実現できる機械学習手法であることを示唆している。

関連論文リスト

• Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
  本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。 我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-07-01T20:44:48Z)
• Multivariate Gaussian Approximation for Random Forest via Region-based Stabilization [12.818275315985971]
  ポアソン過程によって与えられる一連のトレーニングポイントに基づいて,ランダムな森林予測のためのガウス近似境界を導出する。 我々のアプローチは、ランダムな森林予測が地域ベースの安定化と呼ばれる特定の幾何学的特性を満たすという重要な観測に基づいている。
  論文  参考訳（メタデータ） (2024-03-15T01:50:41Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2023-10-17T20:30:16Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2022-06-16T06:13:53Z)
• Prediction Sets Adaptive to Unknown Covariate Shift [18.105704797438417]
  有限サンプル被覆保証付き予測集合は非形式的であることを示す。 そこで我々は,予測セットを効率的に構築する,新しいフレキシブルな分散フリー手法PredSet-1Stepを提案する。
  論文  参考訳（メタデータ） (2022-03-11T17:53:14Z)
• On Variance Estimation of Random Forests [0.0]
  本稿では,不完全U-統計量に基づく不偏分散推定器を開発する。 我々は,計算コストを増大させることなく,より低いバイアスとより正確な信頼区間のカバレッジを評価できることを示した。
  論文  参考訳（メタデータ） (2022-02-18T03:35:47Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• RFpredInterval: An R Package for Prediction Intervals with Random Forests and Boosted Forests [0.0]
  我々は、ランダムな森林や森林の増生を伴う予測区間を構築するために、16の手法を統合した包括的RパッケージRFpredIntervalを開発した。 このパッケージに実装された手法は,Roy と Larocque (2020) が提案したランダムな森林で予測間隔を生成するために,PRBFと15の異なる変種で予測間隔を構築する新しい方法である。 その結果,提案手法は競争力が高く,世界規模では競合手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-06-15T15:27:50Z)
• Generalised Boosted Forests [0.9899017174990579]
  リンク空間におけるMLE型推定から始まり、それから一般化された残余を定義する。 これらの残差とそれに対応する重みをベースとなるランダムフォレストに適合させ、これを繰り返してブーストランダムフォレストを得る。 我々は、ランダムな森林ステップの両方がテストセットのログ類似度を減少させることをシミュレーションおよび実データで示す。
  論文  参考訳（メタデータ） (2021-02-24T21:17:31Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。