論文の概要: Improving Random Forests by Smoothing
- arxiv url: http://arxiv.org/abs/2505.06852v1
- Date: Sun, 11 May 2025 05:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:49.072124
- Title: Improving Random Forests by Smoothing
- Title（参考訳）: 平滑化によるランダム林の改善
- Authors: Ziyi Liu, Phuc Luong, Mario Boley, Daniel F. Schmidt,
- Abstract要約: カーネルベースの平滑化機構を学習されたランダムフォレストや任意の定数予測関数に適用する。
結果として得られたモデルは、基礎となるランダム森林の予測性能を一貫して改善する。
- 参考スコア（独自算出の注目度）: 13.20678906714433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian process regression is a popular model in the small data regime due to its sound uncertainty quantification and the exploitation of the smoothness of the regression function that is encountered in a wide range of practical problems. However, Gaussian processes perform sub-optimally when the degree of smoothness is non-homogeneous across the input domain. Random forest regression partially addresses this issue by providing local basis functions of variable support set sizes that are chosen in a data-driven way. However, they do so at the expense of forgoing any degree of smoothness, which often results in poor performance in the small data regime. Here, we aim to combine the advantages of both models by applying a kernel-based smoothing mechanism to a learned random forest or any other piecewise constant prediction function. As we demonstrate empirically, the resulting model consistently improves the predictive performance of the underlying random forests and, in almost all test cases, also improves the log loss of the usual uncertainty quantification based on inter-tree variance. The latter advantage can be attributed to the ability of the smoothing model to take into account the uncertainty over the exact tree-splitting locations.
- Abstract（参考訳）: ガウス過程の回帰は、その音の不確かさの定量化と、幅広い実用的な問題で遭遇する回帰関数の滑らかさの活用により、小さなデータ構造において一般的なモデルである。
しかし、ガウス過程は入力領域全体で滑らかさの次数が不均一であるときに準最適に実行される。
ランダムフォレスト回帰は、データ駆動方式で選択された可変サポートセットサイズの局所基底関数を提供することによって、この問題に部分的に対処する。
しかし、スムーズさを犠牲にすることで、小さなデータ体制ではパフォーマンスが低下することが多い。
本稿では,カーネルベースの平滑化機構を学習したランダムフォレストや他の部分的定数予測関数に適用することにより,両モデルの利点を組み合わせることを目的とする。
実験的に示すように、結果のモデルは、基礎となるランダム林の予測性能を一貫して改善し、ほとんどすべてのテストケースにおいて、木間分散に基づく通常の不確実性定量化のログ損失も改善する。
後者の利点は、ツリー分割された正確な位置に関する不確実性を考慮に入れた滑らか化モデルの能力に起因している。
関連論文リスト
- Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。
本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
論文 参考訳（メタデータ） (2024-02-17T09:10:40Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-06-20T15:07:37Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - Communication-Efficient Distributed Quantile Regression with Optimal
Statistical Guarantees [2.064612766965483]
本稿では,分散量子レグレッションにおいて,厳密なスケーリング条件を伴わずに最適な推論を実現する方法の課題に対処する。
この問題は、ローカル(各データソース)とグローバルな目的関数に適用される二重平滑化アプローチによって解決される。
局所的および大域的滑らか化パラメータの微妙な組み合わせに依存するにもかかわらず、量子回帰モデルは完全にパラメトリックである。
論文 参考訳（メタデータ） (2021-10-25T17:09:59Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Gaussian Process Boosting [13.162429430481982]
ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。
シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
論文 参考訳（メタデータ） (2020-04-06T13:19:54Z) - Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。
分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
論文 参考訳（メタデータ） (2020-02-21T14:03:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。