論文の概要: Misplaced Trust: Measuring the Interference of Machine Learning in Human Decision-Making

• arxiv url: http://arxiv.org/abs/2005.10960v1
• Date: Fri, 22 May 2020 01:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 08:39:51.057902
• Title: Misplaced Trust: Measuring the Interference of Machine Learning in Human Decision-Making
• Title（参考訳）: ミスプレイスド・トラスト:人間の意思決定における機械学習の干渉を測定する
• Authors: Harini Suresh, Natalie Lao, Ilaria Liccardi
• Abstract要約: 人々は、不正なMLレコメンデーションを信頼しています。 4種類のシステム情報はすべて、リコメンデーションに対する人々の信頼を高めました。 数学と論理のスキルは、MLレコメンデーションを扱う意思決定者にとって、MLと同じくらい重要です。
• 参考スコア（独自算出の注目度）: 9.419791490504753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ML decision-aid systems are increasingly common on the web, but their successful integration relies on people trusting them appropriately: they should use the system to fill in gaps in their ability, but recognize signals that the system might be incorrect. We measured how people's trust in ML recommendations differs by expertise and with more system information through a task-based study of 175 adults. We used two tasks that are difficult for humans: comparing large crowd sizes and identifying similar-looking animals. Our results provide three key insights: (1) People trust incorrect ML recommendations for tasks that they perform correctly the majority of the time, even if they have high prior knowledge about ML or are given information indicating the system is not confident in its prediction; (2) Four different types of system information all increased people's trust in recommendations; and (3) Math and logic skills may be as important as ML for decision-makers working with ML recommendations.
• Abstract（参考訳）: ml決定aidシステムは、web上ではますます一般的になっていますが、その統合の成功は、システムを適切に信頼している人々に依存しています。 175人の成人を対象としたタスクベース調査を通じて,ml推奨に対する人々の信頼度を専門知識とシステム情報によって評価した。 人間にとって難しい課題は、大きな群集のサイズを比較することと、類似した動物を識別することの2つです。 その結果,(1)mlに関する事前知識が豊富であったり,その予測に自信を持っていなかったりした場合でも,ほとんどの時間を正しく実行するタスクに対して不正確なmlレコメンデーションを信頼する,(2)4つの異なるシステム情報によってレコメンデーションに対する人々の信頼が高まったこと、(3)mlレコメンデーションに取り組む意思決定者にとって数学と論理スキルがmlと同じくらい重要であること、の3つの重要な知見が得られた。

関連論文リスト

• Whether to trust: the ML leap of faith [0.0]
  信頼は態度として一般的に理解されているが、これを正確に測定したり、管理したりすることはできない。 システム全体、ML、およびMLのコンポーネント部分に対する信頼を尊重するので、ほとんどのユーザは、MLを信頼するときに受ける信頼の跳躍を理解していません。 信頼を構築するための現在の取り組みは、MLのプロセスを説明するものである。これは、非MLの専門家が、それが複雑であるため理解するのが困難であり、説明は、彼ら自身の(知識のない)精神モデルとは無関係である。 本稿では,MLにおける内在的信頼を直接構築する革新的な方法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:36:19Z)
• A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
  現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。 賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
  論文  参考訳（メタデータ） (2023-10-20T14:41:46Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• SoK: Machine Learning Governance [16.36671448193025]
  このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。 私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。 私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
  論文  参考訳（メタデータ） (2021-09-20T17:56:22Z)
• Declarative Machine Learning Systems [7.5717114708721045]
  機械学習(ML)は、学術的な取り組みから、コンピューティングのほぼすべての側面で採用されている普及した技術へと移行してきた。 近年の自然科学におけるMLの適用の成功により、MLは人類が直面する最も困難な現実世界問題に対処するために利用できることが明らかとなった。 MLシステムの次の波は、おそらくコーディングスキルなしで、より多くの人が同じタスクを実行できると信じています。
  論文  参考訳（メタデータ） (2021-07-16T23:57:57Z)
• Understanding the Usability Challenges of Machine Learning In High-Stakes Decision Making [67.72855777115772]
  機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。 多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。 児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
  論文  参考訳（メタデータ） (2021-03-02T22:50:45Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• More Than Accuracy: Towards Trustworthy Machine Learning Interfaces for Object Recognition [0.0]
  本稿では,画像中の物体を認識する機械学習(ML)システムのユーザエクスペリエンスについて検討する。 MLの背景を持つユーザを,異なるレベルの精度で3つのシステムの3つのビジュアライゼーションに公開しました。 インタビューでは,ユーザが使用するシステムの精度を評価する上で,可視化がいかに役立ったか,システムの可視化と精度が信頼と信頼にどのように影響するかを調べた。
  論文  参考訳（メタデータ） (2020-08-05T07:56:37Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。