論文の概要: Leveraging Expert Consistency to Improve Algorithmic Decision Support

• arxiv url: http://arxiv.org/abs/2101.09648v1
• Date: Sun, 24 Jan 2021 05:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 09:10:35.213122
• Title: Leveraging Expert Consistency to Improve Algorithmic Decision Support
• Title（参考訳）: エキスパートの一貫性を活用してアルゴリズム決定サポートを改善する
• Authors: Maria De-Arteaga, Artur Dubrawski, Alexandra Chouldechova
• Abstract要約: 歴史的専門家の意思決定を豊富な情報源として利用することを検討します。 観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
• 参考スコア（独自算出の注目度）: 89.01584399789951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to their promise of superior predictive power relative to human assessment, machine learning models are increasingly being used to support high-stakes decisions. However, the nature of the labels available for training these models often hampers the usefulness of predictive models for decision support. In this paper, we explore the use of historical expert decisions as a rich--yet imperfect--source of information, and we show that it can be leveraged to mitigate some of the limitations of learning from observed labels alone. We consider the problem of estimating expert consistency indirectly when each case in the data is assessed by a single expert, and propose influence functions based methodology as a solution to this problem. We then incorporate the estimated expert consistency into the predictive model meant for decision support through an approach we term label amalgamation. This allows the machine learning models to learn from experts in instances where there is expert consistency, and learn from the observed labels elsewhere. We show how the proposed approach can help mitigate common challenges of learning from observed labels alone, reducing the gap between the construct that the algorithm optimizes for and the construct of interest to experts. After providing intuition and theoretical results, we present empirical results in the context of child maltreatment hotline screenings. Here, we find that (1) there are high-risk cases whose risk is considered by the experts but not wholly captured in the target labels used to train a deployed model, and (2) the proposed approach improves recall for these cases.
• Abstract（参考訳）: 人間のアセスメントに対する優れた予測力の約束により、機械学習モデルは高利回りの決定をサポートするためにますます使用されています。 しかし、これらのモデルのトレーニングに利用可能なラベルの性質は、しばしば意思決定支援のための予測モデルの有用性を妨げます。 本論文では,歴史的専門家による意思決定を情報の豊富な情報源として利用することを検討し,観察されたラベルのみから学習する制限を緩和するために活用できることを示した。 本稿では,データ中の各ケースを1人の専門家が評価した場合に,専門家の一貫性を間接的に推定する問題を考察し,その解決策として影響関数に基づく方法論を提案する。 次に、評価された専門家の一貫性を、ラベルアマルガメーションと呼ばれるアプローチを通じて意思決定支援を目的とした予測モデルに組み込む。 これにより、機械学習モデルは、専門家の一貫性のあるインスタンスで専門家から学び、観察されたラベルから他の場所で学ぶことができる。 提案手法は,観測ラベルのみから学習する一般的な課題を緩和し,アルゴリズムが最適化する構造と専門家への関心の構成とのギャップを減らし得ることを示す。 直感的および理論的結果が得られた後, 児童虐待ホットラインスクリーニングの文脈における経験的結果を示す。 ここでは,(1)専門家がリスクを考慮した高リスクケースが存在するが,展開モデルのトレーニングに使用するターゲットラベルに完全に捕捉されていないこと,(2)提案手法は,これらのケースのリコールを改善する。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• One Model Many Scores: Using Multiverse Analysis to Prevent Fairness Hacking and Evaluate the Influence of Model Design Decisions [4.362723406385396]
  設計と評価の決定の公平さをよりよく理解するために,多変量解析をどのように利用できるかを示す。 結果から,システム評価に関する決定が,同じモデルに対して,極めて異なる公平度指標を導出する可能性を強調した。
  論文  参考訳（メタデータ） (2023-08-31T12:32:43Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• Topological Interpretability for Deep-Learning [0.30806551485143496]
  ディープラーニング(DL)モデルは、予測の確実性を定量化できない。 本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:38:13Z)
• Exploiting Meta-Cognitive Features for a Machine-Learning-Based One-Shot Group-Decision Aggregation [0.7340017786387767]
  信頼に基づく手法のようなメタ認知情報に依存する手法は、様々なタスクにおいて改善された。 本研究の目的は,メタ認知情報を活用し,そこから学習することである。
  論文  参考訳（メタデータ） (2022-01-20T15:56:18Z)
• A Machine Learning Framework Towards Transparency in Experts' Decision Quality [0.0]
  多くの重要な設定において、専門家の意思決定の質の透明性は、専門家の判断を評価するための根拠となる真理のデータがコストが高く、限られた一連の決定のためにのみ利用できるため、めったに不可能である。 まず、この設定で専門家の判断精度を推定し、それに対応するための機械学習ベースのフレームワークを開発するという問題を定式化する。 本手法は, 労働者の過去の意思決定に関する豊富な歴史的データと, 根拠となる真理情報による意思決定事例の不足を効果的に活用する。
  論文  参考訳（メタデータ） (2021-10-21T18:50:40Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。