論文の概要: XAI-FUNGI: Dataset resulting from the user study on comprehensibility of explainable AI algorithms

• arxiv url: http://arxiv.org/abs/2411.02419v1
• Date: Mon, 21 Oct 2024 11:37:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 12:31:23.217601
• Title: XAI-FUNGI: Dataset resulting from the user study on comprehensibility of explainable AI algorithms
• Title（参考訳）: XAI-FUNGI: 説明可能なAIアルゴリズムの理解性に関するユーザ研究から得られたデータセット
• Authors: Szymon Bobek, Paloma Korycińska, Monika Krakowska, Maciej Mozolewski, Dorota Rak, Magdalena Zych, Magdalena Wójcik, Grzegorz J. Nalepa,
• Abstract要約: 本稿では、説明可能な人工知能(XAI)アルゴリズムの理解度に関するユーザ研究の結果であるデータセットを紹介する。 研究参加者は149人の候補者から募集され, 菌学領域の専門家を代表する3つのグループを結成した。 データセットの主な部分には39のインタビュー書が含まれており、参加者は、食べられるキノコと食べられないキノコを区別するために訓練された機械学習モデルの意思決定の解釈に関する一連のタスクと質問を完了するよう求められた。
• 参考スコア（独自算出の注目度）: 5.775094401949666
• License:
• Abstract: This paper introduces a dataset that is the result of a user study on the comprehensibility of explainable artificial intelligence (XAI) algorithms. The study participants were recruited from 149 candidates to form three groups representing experts in the domain of mycology (DE), students with a data science and visualization background (IT) and students from social sciences and humanities (SSH). The main part of the dataset contains 39 transcripts of interviews during which participants were asked to complete a series of tasks and questions related to the interpretation of explanations of decisions of a machine learning model trained to distinguish between edible and inedible mushrooms. The transcripts were complemented with additional data that includes visualizations of explanations presented to the user, results from thematic analysis, recommendations of improvements of explanations provided by the participants, and the initial survey results that allow to determine the domain knowledge of the participant and data analysis literacy. The transcripts were manually tagged to allow for automatic matching between the text and other data related to particular fragments. In the advent of the area of rapid development of XAI techniques, the need for a multidisciplinary qualitative evaluation of explainability is one of the emerging topics in the community. Our dataset allows not only to reproduce the study we conducted, but also to open a wide range of possibilities for the analysis of the material we gathered.
• Abstract（参考訳）: 本稿では、説明可能な人工知能(XAI)アルゴリズムの理解度に関するユーザ研究の結果であるデータセットを紹介する。 研究参加者は149名の候補者を募集し、菌学領域の専門家を代表する3つのグループ、データサイエンスと可視化の背景を持つ学生(IT)、社会科学と人文科学(SSH)の学生(SSH)を編成した。 データセットの主部は39のインタビューの書き起こしを含み、参加者は、食べられるキノコと食べられないキノコを区別するために訓練された機械学習モデルの意思決定の説明の解釈に関する一連のタスクと質問を完了するよう求められた。 書き起こしには、利用者に提示された説明の可視化、テーマ分析の結果、参加者が提示した説明の改善の勧告、参加者のドメイン知識とデータ分析リテラシーを決定できる最初の調査結果を含む追加データが含まれていた。 テキストと特定のフラグメントに関連する他のデータの自動マッチングを可能にするために、手動でタグ付けされた。 XAI技術が急速に発展する領域の出現において、説明可能性に関する多分野の質的評価の必要性は、コミュニティにおける新たな話題の1つとなっている。 私たちのデータセットは、私たちが行った研究を再現するだけでなく、収集した物質の分析に幅広い可能性を開くことができます。

関連論文リスト

• SciER: An Entity and Relation Extraction Dataset for Datasets, Methods, and Tasks in Scientific Documents [49.54155332262579]
  我々は,科学論文のデータセット,メソッド,タスクに関連するエンティティに対して,新たなエンティティと関係抽出データセットをリリースする。 我々のデータセットには、24k以上のエンティティと12kの関係を持つ106の注釈付きフルテキストの科学出版物が含まれています。
  論文  参考訳（メタデータ） (2024-10-28T15:56:49Z)
• User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
  この研究はHuman-Centered Artificial Intelligence (HCAI)にある。 一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-21T12:32:39Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Knowledge-Aware Reasoning over Multimodal Semi-structured Tables [85.24395216111462]
  本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-08-25T15:17:43Z)
• Gradient based Feature Attribution in Explainable AI: A Technical Review [13.848675695545909]
  ブラックボックスAIモデルの急増は、内部メカニズムを説明し、信頼性を正当化する必要性を喚起している。 勾配に基づく説明は、ニューラルネットワークモデルに直接適用することができる。 アルゴリズムの性能を測定するために,人的評価と定量的評価の両方を導入する。
  論文  参考訳（メタデータ） (2024-03-15T15:49:31Z)
• InfoLossQA: Characterizing and Recovering Information Loss in Text Simplification [60.10193972862099]
  本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。 QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
  論文  参考訳（メタデータ） (2024-01-29T19:00:01Z)
• Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective [35.620874971064765]
  この研究は、データ収集、処理、分析が説明可能なAI(XAI)にどのように貢献するかを「データ中心」の視点で検証する。 我々は,既存の研究を,深層モデルの解釈,トレーニングデータの影響,ドメイン知識の洞察の3つのカテゴリに分類する。 具体的には、XAIの方法論を、モダリティをまたいだデータのトレーニングおよびテストに関するデータマイニング操作に蒸留する。
  論文  参考訳（メタデータ） (2024-01-09T06:27:09Z)
• FunnyBirds: A Synthetic Vision Dataset for a Part-Based Analysis of Explainable AI Methods [15.073405675079558]
  XAIは本質的に、根底的な説明を欠いているため、その自動評価は未解決の問題である。 本稿では,FunnyBirdsという新しい合成視覚データセットを提案する。 我々のツールを用いて、24種類のニューラルモデルとXAI手法の組み合わせの結果を報告する。
  論文  参考訳（メタデータ） (2023-08-11T17:29:02Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science [0.5801044612920815]
  説明可能な人工知能(XAI)におけるユーザ研究の焦点分析について述べる。 我々は、XAI研究者が観察、インタビュー、フォーカスグループ、および/またはアンケートを用いて質的なデータを収集する研究の厳密さを改善する方法を提案するために、社会科学コーパスを描いている。 分析の結果は,XAIコミュニティの他者から,社会規律の専門家とのコラボレーションを提唱し,ユーザスタディにおける厳格さと有効性を高めている。
  論文  参考訳（メタデータ） (2020-11-13T21:02:16Z)
• ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
  我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
  論文  参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。