論文の概要: Evaluating and Correcting Performative Effects of Decision Support
Systems via Causal Domain Shift
- arxiv url: http://arxiv.org/abs/2403.00886v1
- Date: Fri, 1 Mar 2024 10:19:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:06:38.102796
- Title: Evaluating and Correcting Performative Effects of Decision Support
Systems via Causal Domain Shift
- Title（参考訳）: 因果領域シフトによる意思決定支援システムの性能評価と補正
- Authors: Philip Boeken, Onno Zoeter, Joris M. Mooij
- Abstract要約: 決定支援システムは、ターゲット変数の値に影響を与えるエージェントの予測を提供する。
高スループット環境でDSSをデプロイする場合、DSSのパフォーマンス効果を慎重に評価することが不可欠である。
本稿では,DSSの展開を因果領域シフトとしてモデル化し,新たなクロスドメイン識別結果を提案する。
- 参考スコア（独自算出の注目度）: 1.6574413179773764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When predicting a target variable $Y$ from features $X$, the prediction
$\hat{Y}$ can be performative: an agent might act on this prediction, affecting
the value of $Y$ that we eventually observe. Performative predictions are
deliberately prevalent in algorithmic decision support, where a Decision
Support System (DSS) provides a prediction for an agent to affect the value of
the target variable. When deploying a DSS in high-stakes settings (e.g.
healthcare, law, predictive policing, or child welfare screening) it is
imperative to carefully assess the performative effects of the DSS. In the case
that the DSS serves as an alarm for a predicted negative outcome, naive
retraining of the prediction model is bound to result in a model that
underestimates the risk, due to effective workings of the previous model. In
this work, we propose to model the deployment of a DSS as causal domain shift
and provide novel cross-domain identification results for the conditional
expectation $E[Y | X]$, allowing for pre- and post-hoc assessment of the
deployment of the DSS, and for retraining of a model that assesses the risk
under a baseline policy where the DSS is not deployed. Using a running example,
we empirically show that a repeated regression procedure provides a practical
framework for estimating these quantities, even when the data is affected by
sample selection bias and selective labelling, offering for a practical,
unified solution for multiple forms of target variable bias.
- Abstract（参考訳）: 対象変数 $y$ を機能 $x$ から予測する場合、予測 $\hat{y}$ は実行可能である。
アルゴリズム的意思決定支援システム(dss)は、対象変数の値に影響を与えるエージェントの予測を提供する。
ハイテイク環境でDSSをデプロイする場合(例えば、医療、法律、予測警察、児童福祉スクリーニングなど)、DSSのパフォーマンス効果を慎重に評価することが不可欠である。
予測された負の結果のアラームとしてDSSが機能する場合、予測モデルのナイーブ再トレーニングは、前モデルの効果的な動作によりリスクを過小評価するモデルに拘束される。
本研究では,DSSの展開を因果領域シフトとしてモデル化し,条件付き期待値$E[Y | X]$に対して新たなクロスドメイン識別結果を提供することを提案する。
サンプル選択バイアスと選択的ラベリングによってデータが影響を受ける場合でも,反復回帰法がこれらの量を推定するための実用的な枠組みを提供し,複数の形態のターゲット変数バイアスに対して実用的で統一的なソリューションを提供することを示す。
関連論文リスト
- Microfoundation Inference for Strategic Prediction [26.277259491014163]
本稿では,人口に対する予測モデルの長期的影響をカプセル化した分布図の学習手法を提案する。
具体的には,エージェントの応答をコストユーティリティ問題としてモデル化し,そのコストを見積もる。
本稿では,この推定値の収束率と,クレジット・スコアリング・データセットの実証実験による品質評価について述べる。
論文 参考訳（メタデータ） (2024-11-13T19:37:49Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - On the Impact of Uncertainty and Calibration on Likelihood-Ratio Membership Inference Attacks [42.18575921329484]
我々は,情報理論の枠組みを用いて,最先端の確率比攻撃(LiRA)の性能を解析する。
我々は、MIAの有効性に対する不確実性と校正の影響についての洞察を提供することを目的として、MIA敵の利点に基づいて境界を導出する。
論文 参考訳（メタデータ） (2024-02-16T13:41:18Z) - Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with
Differentiable Expected Calibration Error [50.86671887712424]
ドメイン適応型セマンティックセグメンテーションの流行は、ソースドメインデータの漏洩に関する懸念を引き起こしている。
ソースデータの要求を回避するため、ソースフリーなドメイン適応が実現可能なソリューションとして登場した。
校正誘導型ソースフリーなドメイン適応型セマンティックセマンティックセマンティクスフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-06T03:28:34Z) - Dirichlet-based Uncertainty Calibration for Active Domain Adaptation [33.33529827699169]
アクティブドメイン適応(DA)は、アノテートする限られたターゲットデータを積極的に選択することで、新しいターゲットドメインに対するモデル適応を最大限に向上することを目的としている。
従来のアクティブな学習方法は、ドメインシフトの問題を考慮していないため、効果が低い場合がある。
そこで我々は,iDirichlet-based Uncertainty (DUC) approach for active DAを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:33:29Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Evaluating Model Robustness and Stability to Dataset Shift [7.369475193451259]
機械学習モデルの安定性を解析するためのフレームワークを提案する。
本手法では,アルゴリズムが性能の悪い分布を決定するために,元の評価データを用いる。
我々は,アルゴリズムの性能を"Worst-case"分布で推定する。
論文 参考訳（メタデータ） (2020-10-28T17:35:39Z) - Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。
本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。
私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
論文 参考訳（メタデータ） (2020-08-10T17:09:16Z) - Estimating Generalization under Distribution Shifts via Domain-Invariant
Representations [75.74928159249225]
未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。
結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
論文 参考訳（メタデータ） (2020-07-06T17:21:24Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。