論文の概要: User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study

• arxiv url: http://arxiv.org/abs/2410.15952v1
• Date: Mon, 21 Oct 2024 12:32:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:20:10.159835
• Title: User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study
• Title（参考訳）: 人間とAIのユーザ中心による説明可能性の評価--総合的実証研究
• Authors: Szymon Bobek, Paloma Korycińska, Monika Krakowska, Maciej Mozolewski, Dorota Rak, Magdalena Zych, Magdalena Wójcik, Grzegorz J. Nalepa,
• Abstract要約: この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
• 参考スコア（独自算出の注目度）: 5.775094401949666
• License:
• Abstract: This study is located in the Human-Centered Artificial Intelligence (HCAI) and focuses on the results of a user-centered assessment of commonly used eXplainable Artificial Intelligence (XAI) algorithms, specifically investigating how humans understand and interact with the explanations provided by these algorithms. To achieve this, we employed a multi-disciplinary approach that included state-of-the-art research methods from social sciences to measure the comprehensibility of explanations generated by a state-of-the-art lachine learning model, specifically the Gradient Boosting Classifier (XGBClassifier). We conducted an extensive empirical user study involving interviews with 39 participants from three different groups, each with varying expertise in data science, data visualization, and domain-specific knowledge related to the dataset used for training the machine learning model. Participants were asked a series of questions to assess their understanding of the model's explanations. To ensure replicability, we built the model using a publicly available dataset from the UC Irvine Machine Learning Repository, focusing on edible and non-edible mushrooms. Our findings reveal limitations in existing XAI methods and confirm the need for new design principles and evaluation techniques that address the specific information needs and user perspectives of different classes of AI stakeholders. We believe that the results of our research and the cross-disciplinary methodology we developed can be successfully adapted to various data types and user profiles, thus promoting dialogue and address opportunities in HCAI research. To support this, we are making the data resulting from our study publicly available.
• Abstract（参考訳）: この研究はHuman-Centered Artificial Intelligence (HCAI)の中にあり、よく使われるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当て、これらのアルゴリズムが提供する説明を人間がどのように理解し、どのように相互作用するかを研究している。 そこで我々は,最先端のラキーン学習モデル,特にグラディエント・ブースティング・クラシファイア(XGBClassifier)による説明の理解度を測定するために,社会科学の最先端研究手法を含む多分野のアプローチを採用した。 データサイエンス、データビジュアライゼーション、機械学習モデルのトレーニングに使用されるデータセットに関するドメイン固有の知識など、さまざまな専門知識を持つ3つのグループから39人の参加者にインタビューを行った。 参加者はモデルの説明に対する理解を評価するために一連の質問を受けた。 複製性を確保するため、我々はUC Irvine Machine Learning Repositoryから公開されているデータセットを使用して、食用および非食用キノコに焦点を当てたモデルを構築した。 我々は,既存のXAI手法の限界を明らかにし,AI利害関係者の特定の情報ニーズとユーザ視点に対処する新しい設計原則と評価手法の必要性を確認する。 我々は,本研究の結果と学際的手法が,様々なデータタイプやユーザプロファイルに適応し,HCAI研究における対話と対話の機会を促進することができると信じている。 これをサポートするため、我々の研究から得られたデータを公開しています。

関連論文リスト

• XAI-FUNGI: Dataset resulting from the user study on comprehensibility of explainable AI algorithms [5.775094401949666]
  本稿では、説明可能な人工知能(XAI)アルゴリズムの理解度に関するユーザ研究の結果であるデータセットを紹介する。 研究参加者は149人の候補者から募集され, 菌学領域の専門家を代表する3つのグループを結成した。 データセットの主な部分には39のインタビュー書が含まれており、参加者は、食べられるキノコと食べられないキノコを区別するために訓練された機械学習モデルの意思決定の解釈に関する一連のタスクと質問を完了するよう求められた。
  論文  参考訳（メタデータ） (2024-10-21T11:37:58Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• OpenHEXAI: An Open-Source Framework for Human-Centered Evaluation of Explainable Machine Learning [43.87507227859493]
  本稿では,XAI 手法を人間中心で評価するオープンソースフレームワーク OpenHEXAI について述べる。 OpenHEAXIは、XAIメソッドの人間中心ベンチマークを促進するための、最初の大規模なインフラ構築である。
  論文  参考訳（メタデータ） (2024-02-20T22:17:59Z)
• Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective [35.620874971064765]
  この研究は、データ収集、処理、分析が説明可能なAI(XAI)にどのように貢献するかを「データ中心」の視点で検証する。 我々は,既存の研究を,深層モデルの解釈,トレーニングデータの影響,ドメイン知識の洞察の3つのカテゴリに分類する。 具体的には、XAIの方法論を、モダリティをまたいだデータのトレーニングおよびテストに関するデータマイニング操作に蒸留する。
  論文  参考訳（メタデータ） (2024-01-09T06:27:09Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Understanding User Preferences in Explainable Artificial Intelligence: A Survey and a Mapping Function Proposal [0.0]
  本研究は、説明可能な機械学習(XML)における既存の研究の徹底的なレビューを行う。 我々の主な目的は、XMLの領域内でXAIメソッドの分類を提供することです。 本稿では,ユーザとその所望のプロパティを考慮に入れたマッピング関数を提案し,XAI手法を提案する。
  論文  参考訳（メタデータ） (2023-02-07T01:06:38Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations [18.971689499890363]
  我々は過去5年間に人間によるXAI評価で97コア論文を特定し分析してきた。 我々の研究は、XAIがレコメンダシステムなど特定のアプリケーション領域で急速に普及していることを示している。 我々は,XAI研究者や実践者を対象としたユーザスタディの設計と実施に関する実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2022-10-20T20:53:00Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Human-Robot Collaboration and Machine Learning: A Systematic Review of Recent Research [69.48907856390834]
  人間ロボットコラボレーション(Human-robot collaboration、HRC)とは、人間とロボットの相互作用を探索する手法である。 本稿では,HRCの文脈における機械学習技術の利用に関する詳細な文献レビューを提案する。
  論文  参考訳（メタデータ） (2021-10-14T15:14:33Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。