論文の概要: Auditing for Human Expertise
- arxiv url: http://arxiv.org/abs/2306.01646v3
- Date: Mon, 25 Nov 2024 13:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:17:47.802741
- Title: Auditing for Human Expertise
- Title（参考訳）: 人間の専門知識の監査
- Authors: Rohan Alur, Loren Laine, Darrick K. Li, Manish Raghavan, Devavrat Shah, Dennis Shung,
- Abstract要約: 我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
- 参考スコア（独自算出の注目度）: 12.967730957018688
- License:
- Abstract: High-stakes prediction tasks (e.g., patient diagnosis) are often handled by trained human experts. A common source of concern about automation in these settings is that experts may exercise intuition that is difficult to model and/or have access to information (e.g., conversations with a patient) that is simply unavailable to a would-be algorithm. This raises a natural question whether human experts add value which could not be captured by an algorithmic predictor. We develop a statistical framework under which we can pose this question as a natural hypothesis test. Indeed, as our framework highlights, detecting human expertise is more subtle than simply comparing the accuracy of expert predictions to those made by a particular learning algorithm. Instead, we propose a simple procedure which tests whether expert predictions are statistically independent from the outcomes of interest after conditioning on the available inputs (`features'). A rejection of our test thus suggests that human experts may add value to any algorithm trained on the available data, and has direct implications for whether human-AI `complementarity' is achievable in a given prediction task. We highlight the utility of our procedure using admissions data collected from the emergency department of a large academic hospital system, where we show that physicians' admit/discharge decisions for patients with acute gastrointestinal bleeding (AGIB) appear to be incorporating information that is not available to a standard algorithmic screening tool. This is despite the fact that the screening tool is arguably more accurate than physicians' discretionary decisions, highlighting that -- even absent normative concerns about accountability or interpretability -- accuracy is insufficient to justify algorithmic automation.
- Abstract（参考訳）: 高度な予測タスク(例:患者診断)は、しばしば訓練された人間の専門家によって扱われる。
これらの設定における自動化に関する一般的な懸念の源は、専門家がモデリングが難しい直観を行使したり、(例えば、患者との会話など)単にアルゴリズムで利用できない情報にアクセスしたりすることである。
これは、人間の専門家がアルゴリズムの予測器で捉えられない価値を付加するかどうかという自然な疑問を提起する。
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
実際、我々のフレームワークが強調しているように、人間の専門知識を検出することは、専門家による予測の精度を特定の学習アルゴリズムで作成されたものと単に比較するよりも微妙である。
そこで本研究では,有意な入力を条件づけた結果から,有意な予測が統計的に独立であるかどうかを判定する簡単な手順を提案する。
そこで本試験の拒絶は,人間の専門家が利用可能なデータに基づいて訓練されたアルゴリズムに価値を付加する可能性を示唆し,与えられた予測タスクにおいて,AIの「補完性」が達成可能かどうかを直接的に示唆するものである。
当科では, 急性胃腸出血 (AGIB) 患者に対する医師の認め/告知決定が, 標準のアルゴリズム検査ツールでは利用できない情報を取り入れているようである。
これは、スクリーニングツールが医師の判断よりも間違いなく正確であるという事実にもかかわらず、 -- 説明責任や解釈可能性に関する規範的懸念でさえも -- アルゴリズムの自動化を正当化するには正確さが不十分であることを強調している。
関連論文リスト
- Integrating Expert Judgment and Algorithmic Decision Making: An Indistinguishability Framework [12.967730957018688]
予測と意思決定タスクにおける人間とAIの協調のための新しい枠組みを導入する。
我々の手法は人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
論文 参考訳（メタデータ） (2024-10-11T13:03:53Z) - SepsisLab: Early Sepsis Prediction with Uncertainty Quantification and Active Sensing [67.8991481023825]
セプシスは米国での院内死亡の主な原因である。
既存の予測モデルは通常、情報不足の少ない高品質なデータで訓練される。
限られた観察により信頼性の低い高リスク患者に対して,ロバストな能動センシングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-24T04:47:36Z) - TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [57.067409211231244]
本稿では,マルチモーダルデータ(例えば,薬物分子,疾患コード,テキスト,分類・数値的特徴)と臨床治験設計における8つの重要な予測課題をカバーするAIreadyデータセットを精巧にキュレートした。
データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。
このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
論文 参考訳（メタデータ） (2024-06-30T09:13:10Z) - Leveraging graph neural networks for supporting Automatic Triage of
Patients [5.864579168378686]
本稿では,救急部門における緊急コード割り当てを管理するためのAIベースのモジュールを提案する。
バイタルサイン、症状、医療史などの関連する患者情報を含むデータは、患者をトリアージカテゴリーに正確に分類するために使用される。
論文 参考訳（メタデータ） (2024-03-11T09:54:35Z) - Human Expertise in Algorithmic Prediction [16.104330706951004]
アルゴリズムの予測に人間の専門知識を取り入れるための新しい枠組みを導入する。
我々のアプローチは、人間の判断を利用して、アルゴリズム的に区別できない入力を区別する。
論文 参考訳（メタデータ） (2024-02-01T17:23:54Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - Scheduling with Predictions [0.0]
現代の学習技術により、医療画像の異常を数分で検出できるようになった。
機械による診断は、放射線技師による人間の画像のレビューを確実に置き換えることはできない。
本研究では,このシナリオを学習強化オンラインスケジューリング問題として定式化することによって研究する。
論文 参考訳（メタデータ） (2022-12-20T17:10:06Z) - Uncertainty estimation for out-of-distribution detection in
computational histopathology [0.0]
距離認識不確実性推定法は, 一般的に用いられている手法より優れていることを示す。
また,不確実性しきい値を用いた分布外サンプルの選択的予測も検討した。
論文 参考訳（メタデータ） (2022-10-18T14:49:44Z) - Clinical Outcome Prediction from Admission Notes using Self-Supervised
Knowledge Integration [55.88616573143478]
臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。
退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。
複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
論文 参考訳（メタデータ） (2021-02-08T10:26:44Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳（メタデータ） (2020-09-24T00:42:36Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。