論文の概要: Model updating after interventions paradoxically introduces bias

• arxiv url: http://arxiv.org/abs/2010.11530v2
• Date: Mon, 22 Feb 2021 08:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:29:57.767245
• Title: Model updating after interventions paradoxically introduces bias
• Title（参考訳）: 介入後のモデル更新はパラドックス的にバイアスをもたらす
• Authors: James Liley and Samuel R Emerson and Bilal A Mateen and Catalina A Vallejos and Louis J M Aslett and Sebastian J Vollmer
• Abstract要約: 最近の議論は、二進的な結果に対する予測スコアの更新における潜在的な問題を浮き彫りにした。 この設定では、既存のスコアは、元のスコアが置き換えられたときに誤校正につながる追加の因果経路を誘導する。 本稿では,この問題を記述・解決するための一般的な因果的枠組みを提案し,部分的に観察されたマルコフ決定過程として等価な定式化を実証する。
• 参考スコア（独自算出の注目度）: 2.089458396525051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning is increasingly being used to generate prediction models for use in a number of real-world settings, from credit risk assessment to clinical decision support. Recent discussions have highlighted potential problems in the updating of a predictive score for a binary outcome when an existing predictive score forms part of the standard workflow, driving interventions. In this setting, the existing score induces an additional causative pathway which leads to miscalibration when the original score is replaced. We propose a general causal framework to describe and address this problem, and demonstrate an equivalent formulation as a partially observed Markov decision process. We use this model to demonstrate the impact of such `naive updating' when performed repeatedly. Namely, we show that successive predictive scores may converge to a point where they predict their own effect, or may eventually tend toward a stable oscillation between two values, and we argue that neither outcome is desirable. Furthermore, we demonstrate that even if model-fitting procedures improve, actual performance may worsen. We complement these findings with a discussion of several potential routes to overcome these issues.
• Abstract（参考訳）: 機械学習は、信用リスク評価から臨床判断支援まで、多くの現実世界で使用される予測モデルを生成するためにますます使われています。 最近の議論は、既存の予測スコアが標準的なワークフローの一部を形成し、介入を駆動する場合、バイナリ結果に対する予測スコアの更新における潜在的な問題を強調している。 この設定では、既存のスコアは、元のスコアが置き換えられたときに誤校正につながる追加の因果経路を誘導する。 本稿では,この問題を記述・対処するための一般的な因果枠組みを提案し,マルコフ決定過程として等価な定式化を示す。 このモデルを用いて,反復実行時の‘ナイーブ・アップデート’の影響を実証する。 すなわち、連続する予測スコアは、彼らが自身の効果を予測できる点に収束するか、最終的には2つの値の間の安定な振動に向かう傾向があることを示し、どちらの結果も望ましいものではないと論じる。 さらに,モデル適合手順が改善しても,実際の性能が悪化することを示した。 これらの知見を補完し、これらの問題を克服するためのいくつかの潜在的ルートについて議論する。

関連論文リスト

• Counterfactual Generative Modeling with Variational Causal Inference [1.9287470458589586]
  本稿では, 逆ファクト生成モデリングタスクを扱うための変分ベイズ因果推論フレームワークを提案する。 実験では, 反ファクト生成モデルにおける最先端モデルと比較して, フレームワークの利点を実証する。
  論文  参考訳（メタデータ） (2024-10-16T16:44:12Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Towards Robust and Reliable Algorithmic Recourse [11.887537452826624]
  モデルシフトに堅牢なリコースを見つけるための敵対的トレーニングを活用する新しいフレームワークであるRObust Algorithmic Recourse(ROAR)を提案します。 また,モデルシフトにロバストなリコースの構築の重要性を強調する詳細な理論解析を行う。
  論文  参考訳（メタデータ） (2021-02-26T17:38:52Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Estimating the Effects of Continuous-valued Interventions using Generative Adversarial Networks [103.14809802212535]
  我々は,連続的評価介入の効果を推定する問題に対処するため,GAN(Generative Adversarial Network)フレームワークを構築した。 我々のモデルであるSCIGANは柔軟であり、いくつかの異なる継続的な介入に対する対実的な結果の同時推定が可能である。 継続的な介入に移行することによって生じる課題に対処するために、差別者のための新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-27T18:46:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。