論文の概要: Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study

• arxiv url: http://arxiv.org/abs/2402.04674v1
• Date: Wed, 7 Feb 2024 09:01:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 16:02:33.367612
• Title: Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study
• Title（参考訳）: ダブル機械学習による因果推論のためのハイパーパラメータチューニング:シミュレーションによる検討
• Authors: Philipp Bach and Oliver Schacht and Victor Chernozhukov and Sven Klaassen and Martin Spindler
• Abstract要約: 機械学習手法の予測性能と結果の因果推定との関係を実証的に評価する。 我々は,2019 Atlantic Causal Inference Conference Data Challengeのデータを用いて,広範囲にわたるシミュレーション研究を行う。
• 参考スコア（独自算出の注目度）: 4.526082390949313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Proper hyperparameter tuning is essential for achieving optimal performance of modern machine learning (ML) methods in predictive tasks. While there is an extensive literature on tuning ML learners for prediction, there is only little guidance available on tuning ML learners for causal machine learning and how to select among different ML learners. In this paper, we empirically assess the relationship between the predictive performance of ML methods and the resulting causal estimation based on the Double Machine Learning (DML) approach by Chernozhukov et al. (2018). DML relies on estimating so-called nuisance parameters by treating them as supervised learning problems and using them as plug-in estimates to solve for the (causal) parameter. We conduct an extensive simulation study using data from the 2019 Atlantic Causal Inference Conference Data Challenge. We provide empirical insights on the role of hyperparameter tuning and other practical decisions for causal estimation with DML. First, we assess the importance of data splitting schemes for tuning ML learners within Double Machine Learning. Second, we investigate how the choice of ML methods and hyperparameters, including recent AutoML frameworks, impacts the estimation performance for a causal parameter of interest. Third, we assess to what extent the choice of a particular causal model, as characterized by incorporated parametric assumptions, can be based on predictive performance metrics.
• Abstract（参考訳）: 予測タスクにおける現代の機械学習(ml)メソッドの最適性能を達成するには、適切なハイパーパラメータチューニングが不可欠である。 予測のためのML学習者のチューニングには広範な文献があるが、因果学習のためのML学習者のチューニングや、異なるML学習者の選択方法に関するガイダンスはほとんどない。 本稿では,ChernozhukovらによるDouble Machine Learning(DML)アプローチに基づいて,ML手法の予測性能と結果の因果推定との関係を実証的に評価する。 DMLは、いわゆるニュアンスパラメータを教師付き学習問題として扱い、プラグイン推定として使用することで、(因果)パラメータを解く。 我々は,2019 Atlantic Causal Inference Conference Data Challengeのデータを用いて,広範なシミュレーション研究を行う。 DMLを用いた因果推定におけるハイパーパラメータチューニングとその他の実践的意思決定の役割に関する実証的な知見を提供する。 まず、Double Machine Learningにおける機械学習学習者のチューニングにおけるデータ分割方式の重要性を評価する。 第2に、最近のAutoMLフレームワークを含むMLメソッドとハイパーパラメータの選択が、関心の因果パラメータの推定性能に与える影響について検討する。 第3に、パラメトリックな仮定が組み込まれているような特定の因果モデルの選択が、予測性能指標に基づいてどの程度の程度に評価できるかを評価する。

関連論文リスト

• Semiparametric inference for impulse response functions using double/debiased machine learning [49.1574468325115]
  本稿では,インパルス応答関数(IRF)に対する機械学習推定手法を提案する。 提案した推定器は、処理と結果変数の完全な非パラメトリック関係に依存することができ、柔軟な機械学習アプローチを用いてIRFを推定することができる。
  論文  参考訳（メタデータ） (2024-11-15T07:42:02Z)
• Measuring Variable Importance in Individual Treatment Effect Estimation with High Dimensional Data [35.104681814241104]
  因果機械学習(ML)は、個々の治療効果を推定するための強力なツールを提供する。 ML手法は、医療応用にとって重要な解釈可能性の重要な課題に直面している。 統計的に厳密な変数重要度評価のための条件置換重要度(CPI)法に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T11:44:07Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Adaptive debiased machine learning using data-driven model selection techniques [0.5735035463793007]
  Adaptive Debiased Machine Learning (ADML)は、データ駆動型モデル選択と非バイアス型機械学習技術を組み合わせた非バイアス型フレームワークである。 ADMLはモデルの誤特定によるバイアスを回避し、パラメトリックモデルとセミモデルの制約から解放される。 適応的部分線形回帰モデルにおける平均処理効果を推定するためのADML推定器の幅広いクラスを提供する。
  論文  参考訳（メタデータ） (2023-07-24T06:16:17Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Hyperparameter Tuning and Model Evaluation in Causal Effect Estimation [2.7823528791601686]
  本稿では,因果効果推定のためのモデル評価の4つの異なる側面間の相互作用について検討する。 ほとんどの因果推定器は、十分に調整された場合、ほぼ同等の性能であることがわかった。 我々は,現在,最先端の手順で提供されていない最適性能を解き放つために,因果モデル評価に関するさらなる研究を求めている。
  論文  参考訳（メタデータ） (2023-03-02T17:03:02Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
  機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。 透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。 半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-08T16:38:15Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。