論文の概要: Unbiased variable importance for random forests
- arxiv url: http://arxiv.org/abs/2003.02106v2
- Date: Mon, 9 Mar 2020 07:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 12:51:19.126581
- Title: Unbiased variable importance for random forests
- Title(参考訳): ランダム林における不偏変動の重要性
- Authors: Markus Loecher
- Abstract要約: ランダムフォレストにおけるデフォルトの変数重要度尺度であるジーニの重要性は、基礎となるジーニゲイン分裂基準の偏りに悩まされていることが示されている。
我々は、過度に適合する問題と見なすことができる、誤解を招く/信頼できないギーニの重要さに対する簡単な解決策を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The default variable-importance measure in random Forests, Gini importance,
has been shown to suffer from the bias of the underlying Gini-gain splitting
criterion. While the alternative permutation importance is generally accepted
as a reliable measure of variable importance, it is also computationally
demanding and suffers from other shortcomings. We propose a simple solution to
the misleading/untrustworthy Gini importance which can be viewed as an
overfitting problem: we compute the loss reduction on the out-of-bag instead of
the in-bag training samples.
- Abstract(参考訳): ランダム林におけるデフォルトの変数インポート尺度であるginiは、基礎となるgini-gain分割基準の偏りに苦しむことが示されている。
オルタナティブな置換の重要性は、一般的に変数の重要性の信頼できる尺度として受け入れられるが、計算的に要求され、他の欠点に悩まされている。
我々は,バッグ内トレーニングのサンプルではなく,バッグ外損失の削減を計算し,過度に適合する問題と見なせる,誤解を招く/信頼できないギーニの重要度に対する簡単な解を提案する。
関連論文リスト
- SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。
ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。
我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
論文 参考訳(メタデータ) (2024-07-22T14:54:12Z) - Statistically Valid Variable Importance Assessment through Conditional
Permutations [19.095605415846187]
Conditional Permutation Importanceは、変数の重要度評価に対する新しいアプローチである。
我々は、$textitCPI$が、正確な型Iエラー制御を提供することで、標準置換の重要性の限界を克服していることを示す。
この結果から,$textitCPI$は置換型メソッドのドロップイン置換として簡単に利用できることが示唆された。
論文 参考訳(メタデータ) (2023-09-14T10:53:36Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - A data variation robust learning model based on importance sampling [11.285259001286978]
本稿では,分散逸脱の制約下での損失の最悪のケースを最小限に抑える学習問題に対して,重要サンプリングに基づくデータ変動ロバスト損失(ISloss)を提案する。
提案手法は, 分布変化が大きい場合, 頑健であることを示す。
論文 参考訳(メタデータ) (2023-02-09T04:50:06Z) - Confidence intervals for the random forest generalization error [0.0]
ランダムな森林のトレーニングプロセスの下には、一般化誤差に対する信頼区間を計算するための経路が存在することを示す。
構成に関わる計算コストの低さに加えて、この信頼区間はシミュレーションを通して示され、良好なカバレッジと幅の適切な縮小率を有する。
論文 参考訳(メタデータ) (2021-12-11T23:58:14Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳(メタデータ) (2021-06-11T20:42:27Z) - BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。
本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-07T10:14:18Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-28T11:07:59Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z) - Trees, forests, and impurity-based variable importance [0.0]
MDI(Mean Decrease Impurity)という2つのよく知られたランダムな森林変動の重要度を分析した。
入力変数が独立であり、相互作用がない場合、MDIは出力の分散分解を提供する。
分析の結果,単木に比べて森林の利用にはいくつかの利点がある可能性が示唆された。
論文 参考訳(メタデータ) (2020-01-13T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。