論文の概要: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- arxiv url: http://arxiv.org/abs/2101.09648v3
- Date: Mon, 3 Jun 2024 15:23:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 05:08:03.921554
- Title: Leveraging Expert Consistency to Improve Algorithmic Decision Support
- Title（参考訳）: エキスパートの一貫性を活用してアルゴリズム決定サポートを改善する
- Authors: Maria De-Arteaga, Vincent Jeanselme, Artur Dubrawski, Alexandra Chouldechova,
- Abstract要約: 建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
- 参考スコア（独自算出の注目度）: 62.61153549123407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) is increasingly being used to support high-stakes decisions. However, there is frequently a construct gap: a gap between the construct of interest to the decision-making task and what is captured in proxies used as labels to train ML models. As a result, ML models may fail to capture important dimensions of decision criteria, hampering their utility for decision support. Thus, an essential step in the design of ML systems for decision support is selecting a target label among available proxies. In this work, we explore the use of historical expert decisions as a rich -- yet also imperfect -- source of information that can be combined with observed outcomes to narrow the construct gap. We argue that managers and system designers may be interested in learning from experts in instances where they exhibit consistency with each other, while learning from observed outcomes otherwise. We develop a methodology to enable this goal using information that is commonly available in organizational information systems. This involves two core steps. First, we propose an influence function-based methodology to estimate expert consistency indirectly when each case in the data is assessed by a single expert. Second, we introduce a label amalgamation approach that allows ML models to simultaneously learn from expert decisions and observed outcomes. Our empirical evaluation, using simulations in a clinical setting and real-world data from the child welfare domain, indicates that the proposed approach successfully narrows the construct gap, yielding better predictive performance than learning from either observed outcomes or expert decisions alone.
- Abstract（参考訳）: 機械学習(ML)は、高い意思決定をサポートするためにますます使われています。
しかし、意思決定タスクに対する関心の構成と、MLモデルをトレーニングするためにラベルとして使われるプロキシで捉えられるものとの間には、しばしば構成上のギャップがある。
その結果、MLモデルは決定基準の重要な次元を捉えることができず、意思決定支援の実用性を阻害する可能性がある。
したがって、決定支援のためのMLシステムの設計において重要なステップは、利用可能なプロキシの中からターゲットラベルを選択することである。
この研究では、構成ギャップを狭めるために観測結果と組み合わせることができる情報の源泉として、歴史的専門家による決定がリッチで不完全なものとして使われることを探る。
マネージャとシステムデザイナは、観察結果から学習しながら、相互に一貫性を示すケースで専門家から学ぶことに興味があるかもしれない、と私たちは主張する。
我々は,組織情報システムでよく見られる情報を用いて,この目標を達成するための方法論を開発する。
これには2つの中核ステップが含まれる。
まず、データ内の各ケースが1人の専門家によって評価された場合、専門家の一貫性を間接的に推定する影響関数に基づく方法論を提案する。
第2に,MLモデルを専門家の判断から同時に学習し,その結果を観察するラベルアマルガメーション手法を導入する。
本研究は, 臨床環境におけるシミュレーションと児童福祉領域の実世界データを用いた実証的評価から, 提案手法が構成ギャップを狭くし, 観察結果や専門家の判断だけでの学習よりも優れた予測性能が得られることを示した。
関連論文リスト
- Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。
実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文 参考訳（メタデータ） (2024-11-20T17:55:38Z) - Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳（メタデータ） (2024-11-13T10:42:11Z) - Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。
我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。
デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文 参考訳（メタデータ） (2024-08-17T11:49:53Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions [4.362723406385396]
設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。
結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
論文 参考訳（メタデータ） (2023-08-31T12:32:43Z) - Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。
本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。
ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
論文 参考訳（メタデータ） (2023-08-24T03:11:45Z) - Topological Interpretability for Deep-Learning [0.30806551485143496]
ディープラーニング(DL)モデルは、予測の確実性を定量化できない。
本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
論文 参考訳（メタデータ） (2023-05-15T13:38:13Z) - Exploiting Meta-Cognitive Features for a Machine-Learning-Based One-Shot
Group-Decision Aggregation [0.7340017786387767]
信頼に基づく手法のようなメタ認知情報に依存する手法は、様々なタスクにおいて改善された。
本研究の目的は,メタ認知情報を活用し,そこから学習することである。
論文 参考訳（メタデータ） (2022-01-20T15:56:18Z) - A Machine Learning Framework Towards Transparency in Experts' Decision
Quality [0.0]
多くの重要な設定において、専門家の意思決定の質の透明性は、専門家の判断を評価するための根拠となる真理のデータがコストが高く、限られた一連の決定のためにのみ利用できるため、めったに不可能である。
まず、この設定で専門家の判断精度を推定し、それに対応するための機械学習ベースのフレームワークを開発するという問題を定式化する。
本手法は, 労働者の過去の意思決定に関する豊富な歴史的データと, 根拠となる真理情報による意思決定事例の不足を効果的に活用する。
論文 参考訳（メタデータ） (2021-10-21T18:50:40Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。