論文の概要: Lessons Learned from EXMOS User Studies: A Technical Report Summarizing
Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform
- arxiv url: http://arxiv.org/abs/2310.02063v2
- Date: Fri, 2 Feb 2024 11:52:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:56:33.056907
- Title: Lessons Learned from EXMOS User Studies: A Technical Report Summarizing
Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform
- Title（参考訳）: EXMOSユーザスタディから学んだ教訓:EXMOSプラットフォームを評価するために実施されたユーザスタディから重要な教訓を要約する技術レポート
- Authors: Aditya Bhattacharya, Simone Stumpf, Lucija Gosak, Gregor Stiglic,
Katrien Verbert
- Abstract要約: 信頼,理解可能性,モデル改善の3つの重要な側面に異なる説明型の影響を明らかにすることを目的とした2つのユーザスタディ。
その結果,データ構成の複雑なプロセスにおいて,ユーザを効果的に導くには,グローバルなモデル中心の説明だけでは不十分であることが示唆された。
本稿では、説明によって駆動される対話型機械学習システムの開発に不可欠な意味について述べる。
- 参考スコア（独自算出の注目度）: 5.132827811038276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the realm of interactive machine-learning systems, the provision of
explanations serves as a vital aid in the processes of debugging and enhancing
prediction models. However, the extent to which various global model-centric
and data-centric explanations can effectively assist domain experts in
detecting and resolving potential data-related issues for the purpose of model
improvement has remained largely unexplored. In this technical report, we
summarise the key findings of our two user studies. Our research involved a
comprehensive examination of the impact of global explanations rooted in both
data-centric and model-centric perspectives within systems designed to support
healthcare experts in optimising machine learning models through both automated
and manual data configurations. To empirically investigate these dynamics, we
conducted two user studies, comprising quantitative analysis involving a sample
size of 70 healthcare experts and qualitative assessments involving 30
healthcare experts. These studies were aimed at illuminating the influence of
different explanation types on three key dimensions: trust, understandability,
and model improvement. Results show that global model-centric explanations
alone are insufficient for effectively guiding users during the intricate
process of data configuration. In contrast, data-centric explanations exhibited
their potential by enhancing the understanding of system changes that occur
post-configuration. However, a combination of both showed the highest level of
efficacy for fostering trust, improving understandability, and facilitating
model enhancement among healthcare experts. We also present essential
implications for developing interactive machine-learning systems driven by
explanations. These insights can guide the creation of more effective systems
that empower domain experts to harness the full potential of machine learning
- Abstract（参考訳）: インタラクティブな機械学習システムにおいて、説明の提供は、予測モデルのデバッグと強化のプロセスにおいて重要な助けとなる。
しかし、様々なグローバルモデル中心とデータ中心の説明が、モデル改善のために潜在的なデータ関連問題の検出と解決をドメインの専門家が効果的に支援できる程度は、ほとんど未調査のままである。
本技術報告では,2つのユーザ研究の要点を要約する。
システム内のデータ中心とモデル中心の両方の視点に根ざしたグローバル説明の影響を包括的に検証し、自動化されたデータ設定と手動データ設定の両方で機械学習モデルを最適化する上で、医療専門家を支援するように設計しました。
そこで本研究では,70名の医療専門家を対象とした定量的分析と,30名の医療専門家による質的評価を行った。
これらの研究は、異なる説明タイプが3つの主要な次元(信頼、理解可能性、モデル改善)に与える影響を照明することを目的としていた。
その結果、グローバルモデル中心の説明だけでは、データ構成の複雑なプロセス中にユーザーを効果的に導くには不十分であることがわかった。
対照的に、データ中心の説明は、構成後のシステム変更の理解を強化することで、その可能性を示した。
しかし, 両者の組み合わせは, 信頼の育成, 理解性の向上, および医療専門家のモデル強化の促進に最も有効であった。
また、説明によって駆動される対話型機械学習システムの開発にも重要な意味を持つ。
これらの洞察は、ドメインの専門家が機械学習の潜在能力を最大限活用するための、より効果的なシステムの構築を導くことができる。
関連論文リスト
- User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - Vital Insight: Assisting Experts' Sensemaking Process of Multi-modal Personal Tracking Data Using Visualization and LLM [25.264865296828116]
Vital Insightは、ビジュアライゼーションと大規模言語モデルによる直接表現と間接推論を組み合わせたエビデンスベースの「センスメイキング」システムである。
我々は、マルチモーダルトラッキングの専門家14名とともに、ユーザテストセッションにおいて、Vital Insightを評価し、設計上の意味を合成し、AIが支援する推論と直接データ表現を反復的に移動して洞察を探索、検索、質問、検証する専門家のセンスメイキングモデルを開発した。
論文 参考訳（メタデータ） (2024-10-18T21:56:35Z) - iNNspector: Visual, Interactive Deep Model Debugging [8.997568393450768]
本研究では,ディープラーニング実験のデータ空間を構造化する概念的枠組みを提案する。
我々のフレームワークは設計の次元を捉え、このデータを探索可能かつ抽出可能にするためのメカニズムを提案する。
我々は、ディープラーニング実験の追跡を可能にし、データのインタラクティブな可視化を提供するiNNspectorシステムを提案する。
論文 参考訳（メタデータ） (2024-07-25T12:48:41Z) - Self-Distilled Disentangled Learning for Counterfactual Prediction [49.84163147971955]
我々は、SD2$として知られる自己蒸留遠絡フレームワークを提案する。
情報理論を基礎として、複雑な相互情報推定器の設計を伴わずに、理論上独立に不整合表現を鳴らす。
人工と実世界の両方のデータセットを用いて実験を行い,本手法の有効性を確認した。
論文 参考訳（メタデータ） (2024-06-09T16:58:19Z) - When Medical Imaging Met Self-Attention: A Love Story That Didn't Quite Work Out [8.113092414596679]
2つの異なる医療データセットに異なる自己注意変異を持つ、広く採用されている2つの畳み込みアーキテクチャを拡張します。
完全畳み込みモデルに比べてバランスの取れた精度は著しく改善されていない。
また, 皮膚病変画像における皮膚内視鏡像などの重要な特徴は, 自己注意を用いても学ばないことが明らかとなった。
論文 参考訳（メタデータ） (2024-04-18T16:18:41Z) - EXMOS: Explanatory Model Steering Through Multifaceted Explanations and
Data Configurations [5.132827811038276]
本研究では,対話型機械学習システムにおけるデータ中心およびモデル中心の説明の影響について検討する。
我々は医療専門家とともに、信頼、理解可能性、モデル改善に対する様々な説明の影響について調査した。
この結果から,データ構成中にユーザを導くためのグローバルモデル中心の説明が不十分であることが明らかになった。
論文 参考訳（メタデータ） (2024-02-01T10:57:00Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳（メタデータ） (2023-11-03T06:34:37Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳（メタデータ） (2023-01-30T12:38:31Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。
本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
論文 参考訳（メタデータ） (2020-08-21T05:30:48Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。