論文の概要: Measuring Variable Importance in Individual Treatment Effect Estimation with High Dimensional Data
- arxiv url: http://arxiv.org/abs/2408.13002v1
- Date: Fri, 23 Aug 2024 11:44:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-26 15:20:16.334690
- Title: Measuring Variable Importance in Individual Treatment Effect Estimation with High Dimensional Data
- Title（参考訳）: 高次元データを用いた個別処理効果推定における重要度の測定
- Authors: Joseph Paillard, Vitaliy Kolodyazhniy, Bertrand Thirion, Denis A. Engemann,
- Abstract要約: 因果機械学習(ML)は、個々の治療効果を推定するための強力なツールを提供する。
ML手法は、医療応用にとって重要な解釈可能性の重要な課題に直面している。
統計的に厳密な変数重要度評価のための条件置換重要度(CPI)法に基づく新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 35.104681814241104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Causal machine learning (ML) promises to provide powerful tools for estimating individual treatment effects. Although causal ML methods are now well established, they still face the significant challenge of interpretability, which is crucial for medical applications. In this work, we propose a new algorithm based on the Conditional Permutation Importance (CPI) method for statistically rigorous variable importance assessment in the context of Conditional Average Treatment Effect (CATE) estimation. Our method termed PermuCATE is agnostic to both the meta-learner and the ML model used. Through theoretical analysis and empirical studies, we show that this approach provides a reliable measure of variable importance and exhibits lower variance compared to the standard Leave-One-Covariate-Out (LOCO) method. We illustrate how this property leads to increased statistical power, which is crucial for the application of explainable ML in small sample sizes or high-dimensional settings. We empirically demonstrate the benefits of our approach in various simulation scenarios, including previously proposed benchmarks as well as more complex settings with high-dimensional and correlated variables that require advanced CATE estimators.
- Abstract（参考訳）: 因果機械学習(ML)は、個々の治療効果を推定するための強力なツールを提供する。
現在、因果ML法は確立されているが、医療応用にとって重要な解釈可能性の重大な課題に直面している。
本研究では,条件平均処理効果(CATE)推定の文脈において,統計的に厳密な変数重要度評価のための条件置換重要度(CPI)法に基づく新しいアルゴリズムを提案する。
PermuCATEと呼ばれる手法はメタラーナーとMLモデルの両方に依存しない。
理論的解析と実証研究を通じて,本手法は変数の重要性の信頼性を示し,標準のLeave-One-Covariate-Out (LOCO)法と比較して低分散を示すことを示す。
この特性が統計力の増大にどのように寄与するかを解説し、小さなサンプルサイズや高次元設定における説明可能なMLの適用に不可欠である。
我々は,従来のベンチマークや,高度なCATE推定器を必要とする高次元および相関変数を用いたより複雑な設定を含む,様々なシミュレーションシナリオにおいて,このアプローチの利点を実証的に実証した。
関連論文リスト
- A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
本稿では,損失関数の勾配解析の特異な角度について述べる。
ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
論文 参考訳（メタデータ） (2024-08-29T17:46:18Z) - Quantifying Emergence in Large Language Models [31.608080868988825]
LLMの出現を推定するための定量化ソリューションを提案する。
分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。
本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
論文 参考訳（メタデータ） (2024-05-21T09:12:20Z) - Statistical Agnostic Regression: a machine learning method to validate regression models [0.0]
本稿では,機械学習に基づく線形回帰モデルの統計的意義を評価するために,統計的回帰(Agnostic Regression, SAR)を導入する。
我々は、説明的(機能)変数と反応(ラベル)変数の間の集団における線形関係の存在を結論付けるために、少なくとも1-eta$の確率で十分な証拠が存在することを保証するしきい値を定義する。
論文 参考訳（メタデータ） (2024-02-23T09:19:26Z) - Hyperparameter Tuning for Causal Inference with Double Machine Learning:
A Simulation Study [4.526082390949313]
機械学習手法の予測性能と結果の因果推定との関係を実証的に評価する。
我々は,2019 Atlantic Causal Inference Conference Data Challengeのデータを用いて,広範囲にわたるシミュレーション研究を行う。
論文 参考訳（メタデータ） (2024-02-07T09:01:51Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - Building Robust Machine Learning Models for Small Chemical Science Data:
The Case of Shear Viscosity [3.4761212729163313]
我々はLennard-Jones (LJ)流体のせん断粘度を予測するために、いくつかの機械学習モデルを訓練する。
具体的には,モデル選択,性能評価,不確実性定量化に関する課題について検討した。
論文 参考訳（メタデータ） (2022-08-23T07:33:14Z) - Provable Generalization of Overparameterized Meta-learning Trained with
SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。
我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。
理論的知見は実験によってさらに検証される。
論文 参考訳（メタデータ） (2022-06-18T07:22:57Z) - Tight Mutual Information Estimation With Contrastive Fenchel-Legendre
Optimization [69.07420650261649]
我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。
実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。
FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
論文 参考訳（メタデータ） (2021-07-02T15:20:41Z) - Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。
我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。
このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文 参考訳（メタデータ） (2021-02-23T20:22:56Z) - Localized Debiased Machine Learning: Efficient Inference on Quantile
Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。
Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。
本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文 参考訳（メタデータ） (2019-12-30T14:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。