論文の概要: Evaluating Prediction-based Interventions with Human Decision Makers In Mind

• arxiv url: http://arxiv.org/abs/2503.05704v2
• Date: Wed, 26 Mar 2025 21:23:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:49:46.971433
• Title: Evaluating Prediction-based Interventions with Human Decision Makers In Mind
• Title（参考訳）: 人的意思決定者を考慮した予測に基づく介入の評価
• Authors: Inioluwa Deborah Raji, Lydia Liu,
• Abstract要約: 我々は,予測モデルエイズの存在下での人的意思決定の様々なモデルを定式化し,検討する。 これらの行動モデルはそれぞれ、意思決定対象に依存性を生じさせ、既存の仮定に反する結果をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 1.192656186481075
• License:
• Abstract: Automated decision systems (ADS) are broadly deployed to inform and support human decision-making across a wide range of consequential settings. However, various context-specific details complicate the goal of establishing meaningful experimental evaluations for prediction-based interventions. Notably, current experiment designs rely on simplifying assumptions about human decision making in order to derive causal estimates. In reality, specific experimental design decisions may induce cognitive biases in human decision makers, which could then significantly alter the observed effect sizes of the prediction intervention. In this paper, we formalize and investigate various models of human decision-making in the presence of a predictive model aid. We show that each of these behavioural models produces dependencies across decision subjects and results in the violation of existing assumptions, with consequences for treatment effect estimation. This work aims to further advance the scientific validity of intervention-based evaluation schemes for the assessment of ADS deployments.
• Abstract（参考訳）: 自動意思決定システム(ADS)は、広範囲な連続的な設定で人的意思決定を通知し支援するために広く展開されている。 しかし、様々な文脈固有の詳細は、予測に基づく介入に対する有意義な実験的評価を確立するという目標を複雑にしている。 現在の実験設計は、因果推定を導出するために、人間の意思決定に関する仮定を単純化することに依存している。 実際、特定の実験的な設計決定は、人間の意思決定者における認知バイアスを誘発し、その結果、予測介入の観察された影響サイズを著しく変更する可能性がある。 本稿では,予測モデルエイズの存在下での人的意思決定の様々なモデルを定式化し,検討する。 それぞれの行動モデルが意思決定対象に依存性を生じさせ,既存の仮定に反する結果となり,治療効果の推定結果が得られた。 本研究は、ADS導入評価のための介入に基づく評価手法の科学的妥当性をさらに向上することを目的としている。

関連論文リスト

• Reduced-Rank Multi-objective Policy Learning and Optimization [57.978477569678844]
  実際には、因果研究者は先験を念頭において1つの結果を持っていない。 政府支援の社会福祉プログラムでは、政策立案者は貧困の多次元的性質を理解するために多くの成果を集めている。 本稿では、最適政策学習の文脈において、複数の結果に対するデータ駆動型次元性推論手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T08:16:30Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• A Closer Look at the Intervention Procedure of Concept Bottleneck Models [18.222350428973343]
  概念ボトルネックモデル(コンセプションボトルネックモデル、CBM)は、その高レベルな概念に基づいて与えられた入力のターゲット応答を予測する、解釈可能なニューラルネットワークモデルのクラスである。 CBMは、ドメインの専門家が予測された概念に介入し、テスト時に間違いを修正できるので、最後にもっと正確なタスク予測ができる。 本研究では,介入効果を向上させるために介入概念を選択する様々な方法を開発し,異なる状況下でどのように進化するかを詳細に分析する。
  論文  参考訳（メタデータ） (2023-02-28T02:37:24Z)
• Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [2.8498944632323755]
  選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一的なフレームワークを提案する。 我々は、選択されていないユニットと選択されたユニットの間で、平均して結果がどの程度異なるかという一般的な仮定を課す。 我々は,大規模な予測性能推定値のクラスにおける境界値に対するバイアス付き機械学習推定器を開発する。
  論文  参考訳（メタデータ） (2022-12-19T20:41:44Z)
• On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
  偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。 実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:24:45Z)
• Stochastic Intervention for Causal Effect Estimation [7.015556609676951]
  介入効果を推定するための新しい確率スコアと介入効果推定器(SIE)を提案する。 また,介入効果(Ge-SIO)に特異的な遺伝的アルゴリズムを設計し,意思決定の因果的証拠を提供する。 提案手法とアルゴリズムは,最先端のベースラインと比較して,大幅な性能向上を実現することができる。
  論文  参考訳（メタデータ） (2021-05-27T01:12:03Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects [61.03579766573421]
  代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。 我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。 これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
  論文  参考訳（メタデータ） (2020-01-21T10:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。