論文の概要: Lessons Learned from EXMOS User Studies: A Technical Report Summarizing
Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform
- arxiv url: http://arxiv.org/abs/2310.02063v2
- Date: Fri, 2 Feb 2024 11:52:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:56:33.056907
- Title: Lessons Learned from EXMOS User Studies: A Technical Report Summarizing
Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform
- Title(参考訳): EXMOSユーザスタディから学んだ教訓:EXMOSプラットフォームを評価するために実施されたユーザスタディから重要な教訓を要約する技術レポート
- Authors: Aditya Bhattacharya, Simone Stumpf, Lucija Gosak, Gregor Stiglic,
Katrien Verbert
- Abstract要約: 信頼,理解可能性,モデル改善の3つの重要な側面に異なる説明型の影響を明らかにすることを目的とした2つのユーザスタディ。
その結果,データ構成の複雑なプロセスにおいて,ユーザを効果的に導くには,グローバルなモデル中心の説明だけでは不十分であることが示唆された。
本稿では、説明によって駆動される対話型機械学習システムの開発に不可欠な意味について述べる。
- 参考スコア(独自算出の注目度): 5.132827811038276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of interactive machine-learning systems, the provision of
explanations serves as a vital aid in the processes of debugging and enhancing
prediction models. However, the extent to which various global model-centric
and data-centric explanations can effectively assist domain experts in
detecting and resolving potential data-related issues for the purpose of model
improvement has remained largely unexplored. In this technical report, we
summarise the key findings of our two user studies. Our research involved a
comprehensive examination of the impact of global explanations rooted in both
data-centric and model-centric perspectives within systems designed to support
healthcare experts in optimising machine learning models through both automated
and manual data configurations. To empirically investigate these dynamics, we
conducted two user studies, comprising quantitative analysis involving a sample
size of 70 healthcare experts and qualitative assessments involving 30
healthcare experts. These studies were aimed at illuminating the influence of
different explanation types on three key dimensions: trust, understandability,
and model improvement. Results show that global model-centric explanations
alone are insufficient for effectively guiding users during the intricate
process of data configuration. In contrast, data-centric explanations exhibited
their potential by enhancing the understanding of system changes that occur
post-configuration. However, a combination of both showed the highest level of
efficacy for fostering trust, improving understandability, and facilitating
model enhancement among healthcare experts. We also present essential
implications for developing interactive machine-learning systems driven by
explanations. These insights can guide the creation of more effective systems
that empower domain experts to harness the full potential of machine learning
- Abstract(参考訳): インタラクティブな機械学習システムにおいて、説明の提供は、予測モデルのデバッグと強化のプロセスにおいて重要な助けとなる。
しかし、様々なグローバルモデル中心とデータ中心の説明が、モデル改善のために潜在的なデータ関連問題の検出と解決をドメインの専門家が効果的に支援できる程度は、ほとんど未調査のままである。
本技術報告では,2つのユーザ研究の要点を要約する。
システム内のデータ中心とモデル中心の両方の視点に根ざしたグローバル説明の影響を包括的に検証し、自動化されたデータ設定と手動データ設定の両方で機械学習モデルを最適化する上で、医療専門家を支援するように設計しました。
そこで本研究では,70名の医療専門家を対象とした定量的分析と,30名の医療専門家による質的評価を行った。
これらの研究は、異なる説明タイプが3つの主要な次元(信頼、理解可能性、モデル改善)に与える影響を照明することを目的としていた。
その結果、グローバルモデル中心の説明だけでは、データ構成の複雑なプロセス中にユーザーを効果的に導くには不十分であることがわかった。
対照的に、データ中心の説明は、構成後のシステム変更の理解を強化することで、その可能性を示した。
しかし, 両者の組み合わせは, 信頼の育成, 理解性の向上, および医療専門家のモデル強化の促進に最も有効であった。
また、説明によって駆動される対話型機械学習システムの開発にも重要な意味を持つ。
これらの洞察は、ドメインの専門家が機械学習の潜在能力を最大限活用するための、より効果的なシステムの構築を導くことができる。
関連論文リスト
- Analyzing Operator States and the Impact of AI-Enhanced Decision Support
in Control Rooms: A Human-in-the-Loop Specialized Reinforcement Learning
Framework for Intervention Strategies [0.9378955659006951]
複雑な産業・化学プロセス制御室では、安全性と効率性に効果的な意思決定が不可欠である。
本稿では,AIに基づく意思決定支援システムが人間と機械のインタフェース改善に取り入れた影響と応用について検討する。
論文 参考訳(メタデータ) (2024-02-20T18:31:27Z) - Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - EXMOS: Explanatory Model Steering Through Multifaceted Explanations and
Data Configurations [5.132827811038276]
本研究では,対話型機械学習システムにおけるデータ中心およびモデル中心の説明の影響について検討する。
我々は医療専門家とともに、信頼、理解可能性、モデル改善に対する様々な説明の影響について調査した。
この結果から,データ構成中にユーザを導くためのグローバルモデル中心の説明が不十分であることが明らかになった。
論文 参考訳(メタデータ) (2024-02-01T10:57:00Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳(メタデータ) (2023-11-03T06:34:37Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - Final Report on MITRE Evaluations for the DARPA Big Mechanism Program [0.5499796332553706]
本報告ではDARPAのBig Mechanismプログラムで開発された評価手法について述べる。
Big Mechanismプログラムは、研究論文を読み、その情報をがんのメカニズムのコンピュータモデルに統合し、新しい仮説をフレーム化するコンピュータシステムを開発することを目的としている。
本報告では,機械的発見を抽出する際のシステムの精度を評価するための基準セット(各論文の主要な発見に限定したキュレートされたデータセット)などのイノベーションを含む,我々のアプローチについて述べる。
論文 参考訳(メタデータ) (2022-11-08T01:37:07Z) - Let's Go to the Alien Zoo: Introducing an Experimental Framework to
Study Usability of Counterfactual Explanations for Machine Learning [6.883906273999368]
反事実的説明(CFEs)は、心理的に根拠づけられたアプローチとして、ポストホックな説明を生み出している。
私たちは、エンゲージメントがあり、Webベースでゲームに触発された実験的なフレームワークであるAlien Zooを紹介します。
概念実証として,本手法の有効性と実用性を示す。
論文 参考訳(メタデータ) (2022-05-06T17:57:05Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - Micro-entries: Encouraging Deeper Evaluation of Mental Models Over Time
for Interactive Data Systems [7.578368459974474]
本稿では,ユーザによるシステム論理のメンタルモデルの評価について論じる。
メンタルモデルは、キャプチャと分析が難しい。
ユーザーが何を知り、どのように知っているかを説明することで、研究者は構造化された時間順の洞察を集めることができる。
論文 参考訳(メタデータ) (2020-09-02T18:27:04Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳(メタデータ) (2020-08-21T05:30:48Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳(メタデータ) (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。