論文の概要: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- arxiv url: http://arxiv.org/abs/2101.09648v3
- Date: Mon, 3 Jun 2024 15:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 05:08:03.921554
- Title: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- Title(参考訳): エキスパートの一貫性を活用してアルゴリズム決定サポートを改善する
- Authors: Maria De-Arteaga, Vincent Jeanselme, Artur Dubrawski, Alexandra Chouldechova,
- Abstract要約: 建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
- 参考スコア(独自算出の注目度): 62.61153549123407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) is increasingly being used to support high-stakes decisions. However, there is frequently a construct gap: a gap between the construct of interest to the decision-making task and what is captured in proxies used as labels to train ML models. As a result, ML models may fail to capture important dimensions of decision criteria, hampering their utility for decision support. Thus, an essential step in the design of ML systems for decision support is selecting a target label among available proxies. In this work, we explore the use of historical expert decisions as a rich -- yet also imperfect -- source of information that can be combined with observed outcomes to narrow the construct gap. We argue that managers and system designers may be interested in learning from experts in instances where they exhibit consistency with each other, while learning from observed outcomes otherwise. We develop a methodology to enable this goal using information that is commonly available in organizational information systems. This involves two core steps. First, we propose an influence function-based methodology to estimate expert consistency indirectly when each case in the data is assessed by a single expert. Second, we introduce a label amalgamation approach that allows ML models to simultaneously learn from expert decisions and observed outcomes. Our empirical evaluation, using simulations in a clinical setting and real-world data from the child welfare domain, indicates that the proposed approach successfully narrows the construct gap, yielding better predictive performance than learning from either observed outcomes or expert decisions alone.
- Abstract(参考訳): 機械学習(ML)は、高い意思決定をサポートするためにますます使われています。
しかし、意思決定タスクに対する関心の構成と、MLモデルをトレーニングするためにラベルとして使われるプロキシで捉えられるものとの間には、しばしば構成上のギャップがある。
その結果、MLモデルは決定基準の重要な次元を捉えることができず、意思決定支援の実用性を阻害する可能性がある。
したがって、決定支援のためのMLシステムの設計において重要なステップは、利用可能なプロキシの中からターゲットラベルを選択することである。
この研究では、構成ギャップを狭めるために観測結果と組み合わせることができる情報の源泉として、歴史的専門家による決定がリッチで不完全なものとして使われることを探る。
マネージャとシステムデザイナは、観察結果から学習しながら、相互に一貫性を示すケースで専門家から学ぶことに興味があるかもしれない、と私たちは主張する。
我々は,組織情報システムでよく見られる情報を用いて,この目標を達成するための方法論を開発する。
これには2つの中核ステップが含まれる。
まず、データ内の各ケースが1人の専門家によって評価された場合、専門家の一貫性を間接的に推定する影響関数に基づく方法論を提案する。
第2に,MLモデルを専門家の判断から同時に学習し,その結果を観察するラベルアマルガメーション手法を導入する。
本研究は, 臨床環境におけるシミュレーションと児童福祉領域の実世界データを用いた実証的評価から, 提案手法が構成ギャップを狭くし, 観察結果や専門家の判断だけでの学習よりも優れた予測性能が得られることを示した。
関連論文リスト
- Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions [4.362723406385396]
設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
論文 参考訳(メタデータ) (2023-08-31T12:32:43Z) - Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。
本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。
ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2023-08-24T03:11:45Z) - Topological Interpretability for Deep-Learning [0.30806551485143496]
ディープラーニング(DL)モデルは、予測の確実性を定量化できない。
本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
論文 参考訳(メタデータ) (2023-05-15T13:38:13Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - Exploiting Meta-Cognitive Features for a Machine-Learning-Based One-Shot
Group-Decision Aggregation [0.7340017786387767]
信頼に基づく手法のようなメタ認知情報に依存する手法は、様々なタスクにおいて改善された。
本研究の目的は,メタ認知情報を活用し,そこから学習することである。
論文 参考訳(メタデータ) (2022-01-20T15:56:18Z) - A Machine Learning Framework Towards Transparency in Experts' Decision
Quality [0.0]
多くの重要な設定において、専門家の意思決定の質の透明性は、専門家の判断を評価するための根拠となる真理のデータがコストが高く、限られた一連の決定のためにのみ利用できるため、めったに不可能である。
まず、この設定で専門家の判断精度を推定し、それに対応するための機械学習ベースのフレームワークを開発するという問題を定式化する。
本手法は, 労働者の過去の意思決定に関する豊富な歴史的データと, 根拠となる真理情報による意思決定事例の不足を効果的に活用する。
論文 参考訳(メタデータ) (2021-10-21T18:50:40Z) - Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。
この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。
決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
論文 参考訳(メタデータ) (2021-02-23T08:07:22Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - How fair can we go in machine learning? Assessing the boundaries of
fairness in decision trees [0.12891210250935145]
本稿では,バイアス緩和介入の統計的限界を探索するための最初の方法論を提案する。
機械学習において広く受け入れられている決定木分類器に焦点をあてる。
本手法は, 分類誤差の少ない精度で, 決定木モデルの最適化が可能であることを実験的に結論付けた。
論文 参考訳(メタデータ) (2020-06-22T16:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。