論文の概要: Nonparametric Variable Screening with Optimal Decision Stumps

• arxiv url: http://arxiv.org/abs/2011.02683v2
• Date: Fri, 11 Dec 2020 00:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 11:31:25.482893
• Title: Nonparametric Variable Screening with Optimal Decision Stumps
• Title（参考訳）: 最適決定スランプを用いた非パラメトリック変数スクリーニング
• Authors: Jason M. Klusowski and Peter M. Tian
• Abstract要約: 単レベルCART決定木を用いた非パラメトリックモデルにおける変数選択に対する有限サンプル性能保証を導出する。 切削された基底展開を通じて各辺縁射影を直接推定しようとする従来の辺縁検定方法とは異なり、ここで用いられる適合モデルは単純で同相な決定スタンプである。
• 参考スコア（独自算出の注目度）: 19.493449206135296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees and their ensembles are endowed with a rich set of diagnostic tools for ranking and screening variables in a predictive model. Despite the widespread use of tree based variable importance measures, pinning down their theoretical properties has been challenging and therefore largely unexplored. To address this gap between theory and practice, we derive finite sample performance guarantees for variable selection in nonparametric models using a single-level CART decision tree (a decision stump). Under standard operating assumptions in variable screening literature, we find that the marginal signal strength of each variable and ambient dimensionality can be considerably weaker and higher, respectively, than state-of-the-art nonparametric variable selection methods. Furthermore, unlike previous marginal screening methods that attempt to directly estimate each marginal projection via a truncated basis expansion, the fitted model used here is a simple, parsimonious decision stump, thereby eliminating the need for tuning the number of basis terms. Thus, surprisingly, even though decision stumps are highly inaccurate for estimation purposes, they can still be used to perform consistent model selection.
• Abstract（参考訳）: 決定木とそのアンサンブルには、予測モデルにおける変数のランク付けとスクリーニングのための豊富な診断ツールセットが与えられている。 ツリーベースの変数重要度尺度が広く使われているにもかかわらず、その理論的な性質をピン留めすることは困難であり、それゆえほとんど探検されていない。 このような理論と実践のギャップに対処するため、単レベルCART決定木(決定切り株)を用いた非パラメトリックモデルにおける変数選択に対する有限サンプル性能保証を導出する。 変数スクリーニング文献における標準動作仮定では, 変数の限界信号強度と環境次元はそれぞれ, 最先端の非パラメトリックな変数選択法よりもかなり弱く, 高い値となることが判明した。 さらに,各辺縁射影を切削ベース展開により直接推定しようとする従来の辺縁遮蔽法とは異なり,ここで用いられる装着モデルは単純で同義的な決定スタンプであり,基底項の数を調整する必要がなくなる。 したがって、驚くべきことに、決定スランプは推定のために非常に不正確であるが、一貫性のあるモデル選択を実行するためにも使用できる。

関連論文リスト

• SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules [7.324728751991983]
  ソフトスプリットルールを用いた確率的加法決定木モデルを提案する。 本稿では,合成データセットとニューヨーク市の教育データセットを用いた既存ツリーベースモデルとの比較により,提案モデルの有用性を実証する。
  論文  参考訳（メタデータ） (2025-01-17T01:13:44Z)
• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  現在の因果的発見アプローチは、構造的識別可能性を確保するために、限定的なモデル仮定や介入データへのアクセスを必要とする。 近年の研究では、ベイズモデルの選択はより柔軟な仮定のために制限的モデリングを交換することで精度を大幅に向上させることができることが示されている。 合成データセットと実世界のデータセットの両方において、我々のアプローチの競争力を実証する。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
  平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
  論文  参考訳（メタデータ） (2023-12-17T04:48:25Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Environment Invariant Linear Least Squares [16.831875263656027]
  本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。 線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
  論文  参考訳（メタデータ） (2023-03-06T13:10:54Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian Nonparametrics [85.31247588089686]
  変分ベイズ法はベイズモデルのパラメトリック的および非パラメトリック的側面に対して感性が得られることを示す。 ベイズ感度分析に対する変動的アプローチの理論的および経験的支援を提供する。
  論文  参考訳（メタデータ） (2021-07-08T03:40:18Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。