論文の概要: In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation

• arxiv url: http://arxiv.org/abs/2302.02923v2
• Date: Tue, 6 Jun 2023 09:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 20:46:21.691057
• Title: In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation
• Title（参考訳）: マジックブルではなくインサイトを探索する:不均一処理効果推定におけるモデル選択ジレンマのデミスティフィケーションを目指して
• Authors: Alicia Curth, Mihaela van der Schaar
• Abstract要約: 本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
• 参考スコア（独自算出の注目度）: 92.51773744318119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized treatment effect estimates are often of interest in high-stakes applications -- thus, before deploying a model estimating such effects in practice, one needs to be sure that the best candidate from the ever-growing machine learning toolbox for this task was chosen. Unfortunately, due to the absence of counterfactual information in practice, it is usually not possible to rely on standard validation metrics for doing so, leading to a well-known model selection dilemma in the treatment effect estimation literature. While some solutions have recently been investigated, systematic understanding of the strengths and weaknesses of different model selection criteria is still lacking. In this paper, instead of attempting to declare a global `winner', we therefore empirically investigate success- and failure modes of different selection criteria. We highlight that there is a complex interplay between selection strategies, candidate estimators and the data used for comparing them, and provide interesting insights into the relative (dis)advantages of different criteria alongside desiderata for the design of further illuminating empirical studies in this context.
• Abstract（参考訳）: そのため、そのような効果を実際に見積もるモデルをデプロイする前に、このタスクのために成長を続ける機械学習ツールボックスから最高の候補が選択されたことを確認する必要があります。 残念なことに、実際には偽情報がないため、通常、それを行うための標準的なバリデーションメトリクスに頼ることはできず、治療効果推定文献でよく知られたモデル選択ジレンマに繋がる。 最近、いくつかの解決策が研究されているが、異なるモデル選択基準の強みと弱みの体系的な理解はまだ不足している。 そこで本稿では,グローバル"勝者"を宣言する代わりに,異なる選択基準による成功モードと失敗モードを実証的に検討する。 我々は、選択戦略と候補推定子とそれらの比較に用いるデータの間には複雑な相互作用があることを強調し、この文脈におけるさらなる照明的実証研究の設計のためのデシデラタとともに、異なる基準の相対的(dis)アドバンタに関する興味深い洞察を提供する。

関連論文リスト

• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Globally-Optimal Greedy Experiment Selection for Active Sequential Estimation [1.1530723302736279]
  逐次的に収集したデータの実験を適応的に選択するアクティブシーケンシャル推定の問題について検討する。 目標は、より正確なモデル推定のための実験選択ルールを設計することである。 そこで本稿では,グリーディ実験の選択手法のクラスを提案し,最大可能性の統計的解析を行う。
  論文  参考訳（メタデータ） (2024-02-13T17:09:29Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• Generalization within in silico screening [19.58677466616286]
  シリカスクリーニングでは、予測モデルを使用して、実験的な検証のためにライブラリから好ましい特性を持つ化合物のバッチを選択する。 学習理論を拡張することにより、選択政策の選択性は一般化に大きな影響を及ぼすことを示す。 モデルがバッチで望ましい結果のごく一部を予測できる能力を考えると,一般化が著しく向上できることが示される。
  論文  参考訳（メタデータ） (2023-07-18T16:01:01Z)
• Benchmarking common uncertainty estimation methods with histopathological images under domain shift and label noise [62.997667081978825]
  リスクの高い環境では、深層学習モデルは不確実性を判断し、誤分類の可能性がかなり高い場合に入力を拒否しなければなりません。 我々は,全スライド画像の分類において,最もよく使われている不確実性と頑健さの厳密な評価を行う。 我々は一般的に,手法のアンサンブルが,ドメインシフトやラベルノイズに対するロバスト性の向上とともに,より良い不確実性評価につながることを観察する。
  論文  参考訳（メタデータ） (2023-01-03T11:34:36Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Learning Overlapping Representations for the Estimation of Individualized Treatment Effects [97.42686600929211]
  観測データから代替案の可能性を推定することは難しい問題である。 入力のドメイン不変表現を学習するアルゴリズムは、しばしば不適切であることを示す。 我々は,様々なベンチマークデータセットの最先端性を大幅に向上させる,ディープカーネル回帰アルゴリズムと後続正規化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-01-14T12:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。