論文の概要: Misplaced Trust: Measuring the Interference of Machine Learning in Human
Decision-Making
- arxiv url: http://arxiv.org/abs/2005.10960v1
- Date: Fri, 22 May 2020 01:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 08:39:51.057902
- Title: Misplaced Trust: Measuring the Interference of Machine Learning in Human
Decision-Making
- Title(参考訳): ミスプレイスド・トラスト:人間の意思決定における機械学習の干渉を測定する
- Authors: Harini Suresh, Natalie Lao, Ilaria Liccardi
- Abstract要約: 人々は、不正なMLレコメンデーションを信頼しています。
4種類のシステム情報はすべて、リコメンデーションに対する人々の信頼を高めました。
数学と論理のスキルは、MLレコメンデーションを扱う意思決定者にとって、MLと同じくらい重要です。
- 参考スコア(独自算出の注目度): 9.419791490504753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ML decision-aid systems are increasingly common on the web, but their
successful integration relies on people trusting them appropriately: they
should use the system to fill in gaps in their ability, but recognize signals
that the system might be incorrect. We measured how people's trust in ML
recommendations differs by expertise and with more system information through a
task-based study of 175 adults. We used two tasks that are difficult for
humans: comparing large crowd sizes and identifying similar-looking animals.
Our results provide three key insights: (1) People trust incorrect ML
recommendations for tasks that they perform correctly the majority of the time,
even if they have high prior knowledge about ML or are given information
indicating the system is not confident in its prediction; (2) Four different
types of system information all increased people's trust in recommendations;
and (3) Math and logic skills may be as important as ML for decision-makers
working with ML recommendations.
- Abstract(参考訳): ml決定aidシステムは、web上ではますます一般的になっていますが、その統合の成功は、システムを適切に信頼している人々に依存しています。
175人の成人を対象としたタスクベース調査を通じて,ml推奨に対する人々の信頼度を専門知識とシステム情報によって評価した。
人間にとって難しい課題は、大きな群集のサイズを比較することと、類似した動物を識別することの2つです。
その結果,(1)mlに関する事前知識が豊富であったり,その予測に自信を持っていなかったりした場合でも,ほとんどの時間を正しく実行するタスクに対して不正確なmlレコメンデーションを信頼する,(2)4つの異なるシステム情報によってレコメンデーションに対する人々の信頼が高まったこと、(3)mlレコメンデーションに取り組む意思決定者にとって数学と論理スキルがmlと同じくらい重要であること、の3つの重要な知見が得られた。
関連論文リスト
- KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - A Diachronic Perspective on User Trust in AI under Uncertainty [52.44939679369428]
現代のNLPシステムは、しばしば未分類であり、ユーザの信頼を損なう確実な誤った予測をもたらす。
賭けゲームを用いて,信頼を損なう事象に対するユーザの信頼の進化について検討する。
論文 参考訳(メタデータ) (2023-10-20T14:41:46Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.672981891304005]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。
能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19ドルのタスクをカバーしている。
データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳(メタデータ) (2023-06-15T17:20:46Z) - Truthful Meta-Explanations for Local Interpretability of Machine
Learning Models [10.342433824178825]
本稿では,忠実度に基づく計量である真理度測定に基づいて,局所的メタ説明手法を提案する。
本研究は,すべての概念を具体的に定義し,実験を通じて,技術と計量の両立を実証する。
論文 参考訳(メタデータ) (2022-12-07T08:32:04Z) - One-way Explainability Isn't The Message [2.618757282404254]
この文脈における人間と機械の両方の要件は、かなり異なると我々は主張する。
このようなヒューマン・マシン・システムの設計は、情報の2方向の繰り返しの可視性によって駆動されるべきである。
我々は、協調的な意思決定支援システムの設計を導くために、運用原則、すなわち、知性公理(Intelligibility Axioms)を提案します。
論文 参考訳(メタデータ) (2022-05-05T09:15:53Z) - SoK: Machine Learning Governance [16.36671448193025]
このような利益とリスクのバランスをとるため、MLガバナンスの概念を開発します。
私たちは、MLシステムの障害の原因となるプリンシパルを保持するためにアイデンティティを使用します。
私たちは、モデルオーナーがシステムのライフサイクルを管理することができる技術の必要性を強調します。
論文 参考訳(メタデータ) (2021-09-20T17:56:22Z) - Declarative Machine Learning Systems [7.5717114708721045]
機械学習(ML)は、学術的な取り組みから、コンピューティングのほぼすべての側面で採用されている普及した技術へと移行してきた。
近年の自然科学におけるMLの適用の成功により、MLは人類が直面する最も困難な現実世界問題に対処するために利用できることが明らかとなった。
MLシステムの次の波は、おそらくコーディングスキルなしで、より多くの人が同じタスクを実行できると信じています。
論文 参考訳(メタデータ) (2021-07-16T23:57:57Z) - Understanding the Usability Challenges of Machine Learning In
High-Stakes Decision Making [67.72855777115772]
機械学習(ML)は、多種多様な成長を続ける一連のドメインに適用されている。
多くの場合、MLやデータサイエンスの専門知識を持たないドメインの専門家は、ML予測を使用してハイステークな意思決定を行うように求められます。
児童福祉スクリーニングにおけるMLユーザビリティの課題について,児童福祉スクリーニング者との一連のコラボレーションを通じて検討する。
論文 参考訳(メタデータ) (2021-03-02T22:50:45Z) - More Than Accuracy: Towards Trustworthy Machine Learning Interfaces for
Object Recognition [0.0]
本稿では,画像中の物体を認識する機械学習(ML)システムのユーザエクスペリエンスについて検討する。
MLの背景を持つユーザを,異なるレベルの精度で3つのシステムの3つのビジュアライゼーションに公開しました。
インタビューでは,ユーザが使用するシステムの精度を評価する上で,可視化がいかに役立ったか,システムの可視化と精度が信頼と信頼にどのように影響するかを調べた。
論文 参考訳(メタデータ) (2020-08-05T07:56:37Z) - An Information-Theoretic Approach to Personalized Explainable Machine
Learning [92.53970625312665]
本稿では,予測とユーザ知識のための簡易確率モデルを提案する。
説明と予測の間の条件付き相互情報による説明の効果を定量化する。
論文 参考訳(メタデータ) (2020-03-01T13:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。