論文の概要: A Machine Learning Framework Towards Transparency in Experts' Decision Quality

• arxiv url: http://arxiv.org/abs/2110.11425v1
• Date: Thu, 21 Oct 2021 18:50:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 15:35:15.472349
• Title: A Machine Learning Framework Towards Transparency in Experts' Decision Quality
• Title（参考訳）: エキスパートの意思決定品質の透明性を目指す機械学習フレームワーク
• Authors: Wanxue Dong (1), Maytal Saar-Tsechansky (1), Tomer Geva (2) ((1) The Department of Information, Risk and Operations Management, The University of Texas at Austin, (2) Coller School of Management Tel-Aviv University)
• Abstract要約: 多くの重要な設定において、専門家の意思決定の質の透明性は、専門家の判断を評価するための根拠となる真理のデータがコストが高く、限られた一連の決定のためにのみ利用できるため、めったに不可能である。 まず、この設定で専門家の判断精度を推定し、それに対応するための機械学習ベースのフレームワークを開発するという問題を定式化する。 本手法は, 労働者の過去の意思決定に関する豊富な歴史的データと, 根拠となる真理情報による意思決定事例の不足を効果的に活用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Expert workers make non-trivial decisions with significant implications. Experts' decision accuracy is thus a fundamental aspect of their judgment quality, key to both management and consumers of experts' services. Yet, in many important settings, transparency in experts' decision quality is rarely possible because ground truth data for evaluating the experts' decisions is costly and available only for a limited set of decisions. Furthermore, different experts typically handle exclusive sets of decisions, and thus prior solutions that rely on the aggregation of multiple experts' decisions for the same instance are inapplicable. We first formulate the problem of estimating experts' decision accuracy in this setting and then develop a machine-learning-based framework to address it. Our method effectively leverages both abundant historical data on workers' past decisions, and scarce decision instances with ground truth information. We conduct extensive empirical evaluations of our method's performance relative to alternatives using both semi-synthetic data based on publicly available datasets, and purposefully compiled dataset on real workers' decisions. The results show that our approach is superior to existing alternatives across diverse settings, including different data domains, experts' qualities, and the amount of ground truth data. To our knowledge, this paper is the first to posit and address the problem of estimating experts' decision accuracies from historical data with scarcely available ground truth, and it is the first to offer comprehensive results for this problem setting, establishing the performances that can be achieved across settings, as well as the state-of-the-art performance on which future work can build.
• Abstract（参考訳）: 専門家は重要な意味を持つ非自明な決定を下します。 したがって、専門家の決定精度は、専門家のサービスの管理と消費者の両方にとって鍵となる判断品質の基本的な側面である。 しかし、多くの重要な設定では、専門家の意思決定を評価するための根拠となる真理データがコストが高く、限られた意思決定のためにのみ利用できるため、専門家の意思決定品質の透明性はめったにない。 さらに、異なる専門家が典型的に排他的な意思決定を扱うため、複数の専門家の意思決定の集約に依存する事前ソリューションは適用不可能である。 まず、この設定で専門家の意思決定精度を推定し、それに対応するための機械学習ベースのフレームワークを開発する。 本手法は,労働者の過去の意思決定に関する豊富な履歴データと,基礎的真理情報の少ない決定事例の両方を効果的に活用する。 提案手法は,公開データセットに基づく半合成データと,実作業者の判断に基づく故意にコンパイルされたデータセットの両方を用いて,提案手法の性能を大規模に実証的に評価する。 その結果, 異なるデータ領域, 専門家の資質, 根拠データ量など, 様々な設定において, 既存の代替案よりも優れた手法が得られた。 本稿は,過去データから専門家の意思決定の正確性を評価する問題を初めて実証し,解決するものであり,この課題に対して包括的結果を提供し,各場面で達成可能なパフォーマンスと,今後の作業が構築できる最先端のパフォーマンスを確立した最初の事例である。

関連論文リスト

• Defining Expertise: Applications to Treatment Effect Estimation [58.7977683502207]
  専門知識(特にドメインの意思決定者が持つであろう専門知識の種類)は、治療効果の推定方法の設計と選択において有益である、と我々は主張する。 予測的および予測的2種類の専門知識を定義し,(i)ドメインにおける顕著な専門知識のタイプが治療効果推定における異なる手法の性能に大きく影響し,(ii)データセットに存在する専門知識のタイプを予測することが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-01T17:30:49Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• On solving decision and risk management problems subject to uncertainty [91.3755431537592]
  不確実性は意思決定とリスク管理において広範囲にわたる課題である。 本稿では,このような戦略を体系的に理解し,その適用範囲を判断し,それらをうまく活用するための枠組みを開発する。
  論文  参考訳（メタデータ） (2023-01-18T19:16:23Z)
• On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
  偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。 実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:24:45Z)
• Dealing with Expert Bias in Collective Decision-Making [4.588028371034406]
  本稿では,コンテキスト型マルチアームバンディット問題(CMAB)に基づく新たなアルゴリズムアプローチを提案する。 CMABにインスパイアされた新しいアプローチは、従来の適応アルゴリズムよりも高速に収束しながら、より高い最終性能を達成する。
  論文  参考訳（メタデータ） (2021-06-25T10:17:37Z)
• Decision Rule Elicitation for Domain Adaptation [93.02675868486932]
  ヒトインザループ機械学習は、専門家からラベルを引き出すために人工知能(AI)で広く使用されています。 この作業では、専門家が意思決定を説明する決定ルールを作成できるようにします。 決定規則の適用はアルゴリズムのドメイン適応を改善し、専門家の知識をAIモデルに広めるのに役立つことを示す。
  論文  参考訳（メタデータ） (2021-02-23T08:07:22Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Autoencoders for strategic decision support [5.922780668675565]
  戦略的に関連する粒度のフィードバックを提供するために,オートエンコーダを導入,拡張する。 最初の実験は、専門家が意思決定に不整合であることを示し、戦略的な意思決定支援の必要性を強調している。 本研究は,人間の意思決定におけるいくつかの主要な弱点を確認し,モデルと人間の相乗効果の重要性を強調した。
  論文  参考訳（メタデータ） (2020-05-03T12:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。