論文の概要: Out-of-sample scoring and automatic selection of causal estimators
- arxiv url: http://arxiv.org/abs/2212.10076v1
- Date: Tue, 20 Dec 2022 08:29:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 17:16:44.642647
- Title: Out-of-sample scoring and automatic selection of causal estimators
- Title(参考訳): アウト・オブ・サンプルスコアと因果推定の自動選択
- Authors: Egor Kraev, Timo Flesch, Hudson Taylor Lekunze, Mark Harley, Pere
Planell Morell
- Abstract要約: 本稿では,CATEの場合と器楽変数問題の重要な部分集合に対する新しいスコアリング手法を提案する。
私たちはそれを、DoWhyとEconMLライブラリに依存するオープンソースパッケージで実装しています。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recently, many causal estimators for Conditional Average Treatment Effect
(CATE) and instrumental variable (IV) problems have been published and open
sourced, allowing to estimate granular impact of both randomized treatments
(such as A/B tests) and of user choices on the outcomes of interest. However,
the practical application of such models has ben hampered by the lack of a
valid way to score the performance of such models out of sample, in order to
select the best one for a given application. We address that gap by proposing
novel scoring approaches for both the CATE case and an important subset of
instrumental variable problems, namely those where the instrumental variable is
customer acces to a product feature, and the treatment is the customer's choice
to use that feature. Being able to score model performance out of sample allows
us to apply hyperparameter optimization methods to causal model selection and
tuning. We implement that in an open source package that relies on DoWhy and
EconML libraries for implementation of causal inference models (and also
includes a Transformed Outcome model implementation), and on FLAML for
hyperparameter optimization and for component models used in the causal models.
We demonstrate on synthetic data that optimizing the proposed scores is a
reliable method for choosing the model and its hyperparameter values, whose
estimates are close to the true impact, in the randomized CATE and IV cases.
Further, we provide examles of applying these methods to real customer data
from Wise.
- Abstract(参考訳): 近年,条件平均処理効果 (CATE) と機器変数 (IV) 問題に対する多くの因果推定器が公開・オープンソース化されており,ランダム化処理 (A/B テストなど) とユーザ選択が利害関係に与える影響を推定することができる。
しかし、そのようなモデルの実用的応用は、サンプルからモデルのパフォーマンスを評価する有効な方法の欠如によって、与えられたアプリケーションで最適なものを選択することが妨げられている。
このギャップは,CATEケースと器楽変数の問題の重要なサブセット,すなわち,器楽変数が顧客の製品機能に結びついているものの両方に対して,新たなスコアリングアプローチを提案することで解決される。
サンプルからモデル性能を評価できることで、因果モデルの選択とチューニングにハイパーパラメータ最適化手法を適用できます。
我々は、因果推論モデルの実装にDoWhyおよびEconMLライブラリ(および変換アウトカムモデルの実装も含む)と、超パラメータ最適化のためのFLAMLおよび因果モデルで使用されるコンポーネントモデルに依存したオープンソースパッケージにそれを実装する。
提案するスコアを最適化する合成データについて,ランダム化されたcateとivのケースにおいて,モデルとそのハイパーパラメータ値を選択するための信頼性の高い手法であることを示す。
さらに,これらの手法を賢明な顧客データに適用する試験も実施する。
関連論文リスト
- On the Laplace Approximation as Model Selection Criterion for Gaussian Processes [6.990493129893112]
ラプラス近似に基づく複数の指標を導入する。
実験により、我々のメトリクスはゴールド標準の動的ネストサンプリングに匹敵する品質を示している。
論文 参考訳(メタデータ) (2024-03-14T09:28:28Z) - Causal Q-Aggregation for CATE Model Selection [24.094860486378167]
二重ロバストな損失を用いたQaggregationに基づく新しいCATEアンサンブル手法を提案する。
本研究の主な成果は,因果的Q集合が統計的に最適なモデル選択後悔率を達成することである。
論文 参考訳(メタデータ) (2023-10-25T19:27:05Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳(メタデータ) (2023-01-11T11:10:32Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳(メタデータ) (2022-11-19T16:57:37Z) - Empirical Analysis of Model Selection for Heterogeneous Causal Effect
Estimation [28.408998847597882]
因果推論におけるモデル選択の問題,特に2次的治療下での条件平均治療効果(CATE)推定について検討した。
機械学習におけるモデル選択とは異なり、あらゆるデータポイントに対する反実的ポテンシャルの結果が観察されないため、クロスバリデーションの完全な類似は存在しない。
論文 参考訳(メタデータ) (2022-11-03T16:26:06Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。
提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
論文 参考訳(メタデータ) (2022-03-09T01:55:59Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳(メタデータ) (2021-03-18T14:26:26Z) - Selecting Treatment Effects Models for Domain Adaptation Using Causal
Knowledge [82.5462771088607]
監視されていないドメイン適応設定下でITE法用に特別に設計された新しいモデル選択メトリックを提案する。
特に,介入効果の予測が対象領域の既知の因果構造を満たすモデルを選択することを提案する。
論文 参考訳(メタデータ) (2021-02-11T21:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。