論文の概要: A Central Limit Theorem for the permutation importance measure

• arxiv url: http://arxiv.org/abs/2412.13020v1
• Date: Tue, 17 Dec 2024 15:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:36.431956
• Title: A Central Limit Theorem for the permutation importance measure
• Title（参考訳）: 置換重要度尺度のための中心極限定理
• Authors: Nico Föge, Lena Schmid, Marc Ditzhaus, Markus Pauly,
• Abstract要約: U-Statistics理論を用いたRFPIMの中央極限定理の形式的証明を提供する。 本研究の目的は、総合的な仮説テストを行うのではなく、RFPIMの理論的理解を改善することである。
• 参考スコア（独自算出の注目度）: 0.44998333629984877
• License:
• Abstract: Random Forests have become a widely used tool in machine learning since their introduction in 2001, known for their strong performance in classification and regression tasks. One key feature of Random Forests is the Random Forest Permutation Importance Measure (RFPIM), an internal, non-parametric measure of variable importance. While widely used, theoretical work on RFPIM is sparse, and most research has focused on empirical findings. However, recent progress has been made, such as establishing consistency of the RFPIM, although a mathematical analysis of its asymptotic distribution is still missing. In this paper, we provide a formal proof of a Central Limit Theorem for RFPIM using U-Statistics theory. Our approach deviates from the conventional Random Forest model by assuming a random number of trees and imposing conditions on the regression functions and error terms, which must be bounded and additive, respectively. Our result aims at improving the theoretical understanding of RFPIM rather than conducting comprehensive hypothesis testing. However, our contributions provide a solid foundation and demonstrate the potential for future work to extend to practical applications which we also highlight with a small simulation study.
• Abstract（参考訳）: ランダムフォレスト(Random Forests)は、2001年に導入されて以来、機械学習において広く使われているツールであり、分類および回帰タスクにおける強力なパフォーマンスで知られている。 ランダムフォレストの重要な特徴の1つは、変動重要性の内的、非パラメトリック測度であるランダムフォレスト置換重要度測定(RFPIM)である。 広く使われているが、RFPIMの理論的な研究は乏しく、ほとんどの研究は経験的発見に焦点を当てている。 しかし、RFPIMの整合性の確立など最近の進歩は、その漸近分布の数学的解析はいまだに欠落している。 本稿では、U-Statistics理論を用いたRFPIMの中央極限定理の形式的証明を提供する。 従来のランダムフォレストモデルとは無作為な木数と回帰関数と誤り項を仮定し,それぞれ有界かつ加法的でなければならない。 本研究の目的は、総合的な仮説テストを行うのではなく、RFPIMの理論的理解を改善することである。 しかし、我々の貢献は確固たる基盤を提供し、将来の研究が実用化される可能性を示し、小さなシミュレーション研究で強調する。

関連論文リスト

• Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
  I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。 帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。 本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。 第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
  論文  参考訳（メタデータ） (2024-08-03T13:37:40Z)
• f-FERM: A Scalable Framework for Robust Fair Empirical Risk Minimization [9.591164070876689]
  本稿では、f-divergence measures(f-FERM)に基づく公正な経験的リスクに対する統一的な最適化フレームワークを提案する。 さらに,f-FERMによるほぼ全てのバッチサイズに対するフェアネス・精度トレードオフの優位性を実証した。 我々の拡張は、不確実集合として$L_p$ノルムの下で f-FERM の目的を分布的に頑健に最適化する手法に基づいている。
  論文  参考訳（メタデータ） (2023-12-06T03:14:16Z)
• Towards Characterizing Domain Counterfactuals For Invertible Latent Causal Models [15.817239008727789]
  本研究では,異なるドメインで生成された場合,サンプルがどのようなものであったのかを仮定した,ドメイン反事実と呼ばれる特定のタイプの因果クエリを解析する。 本研究では, 潜在構造因果モデル (SCM) の回復は, ドメイン・デファクト・デファクトを推定するために不要であることを示す。 また、モデル生成過程を単純化し、生成モデル推定を行うための理論的基盤となる実用的なアルゴリズムも開発する。
  論文  参考訳（メタデータ） (2023-06-20T04:19:06Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks [3.623570119514559]
  そこで我々は,GoF(Goness-of-fit)テストのための半ベイズ非パラメトリック(セミBNP)手順を提案する。 提案手法は,最大平均誤差(MMD)測定のための新しいベイズ推定器を提案する。 提案手法は, 誤り仮説の誤認率と受理率を低くすることで, 頻繁なMDD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-05T10:36:21Z)
• FACT: High-Dimensional Random Forests Inference [4.941630596191806]
  ランダム森林学習における個々の特徴の有用性の定量化は、その解釈可能性を大幅に向上させる。 既存の研究では、ランダム森林の特徴的重要度尺度が偏見の問題に悩まされていることが示されている。 本研究では, 自己正規化特徴-残留相関テスト(FACT)の枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:05:08Z)
• Sequential Permutation Testing of Random Forest Variable Importance Measures [68.8204255655161]
  そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。 シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。 本手法の数値安定性を2つの応用研究で検討した。
  論文  参考訳（メタデータ） (2022-06-02T20:16:50Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Towards Robust Classification with Deep Generative Forests [13.096855747795303]
  決定木とランダムフォレストは最も広く使われている機械学習モデルの一つである。 主に識別モデルであるため、予測の不確実性を操作するための原則的な方法が欠けている。 我々はジェネレーティブフォレスト(GeF)を利用してランダムフォレストを特徴空間上の全関節分布を表す生成モデルに拡張する。
  論文  参考訳（メタデータ） (2020-07-11T08:57:52Z)
• Generalized Sliced Distances for Probability Distributions [47.543990188697734]
  我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。 GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。 GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2020-02-28T04:18:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。