論文の概要: Should We Trust (X)AI? Design Dimensions for Structured Experimental
Evaluations
- arxiv url: http://arxiv.org/abs/2009.06433v1
- Date: Mon, 14 Sep 2020 13:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 12:51:20.845249
- Title: Should We Trust (X)AI? Design Dimensions for Structured Experimental
Evaluations
- Title（参考訳）: X)AIを信頼すべきか?
構造評価のための設計次元
- Authors: Fabian Sperrle, Mennatallah El-Assady, Grace Guo, Duen Horng Chau,
Alex Endert, Daniel Keim
- Abstract要約: 本稿では、説明可能な人工知能(XAI)のアプローチを構造化評価するための設計次元を体系的に導出する。
それらは記述的な特徴づけを可能にし、異なる研究設計の比較を容易にする。
彼らはさらにXAIの設計空間を構造化し、XAIの厳密な研究に必要な正確な用語に収束した。
- 参考スコア（独自算出の注目度）: 19.68184991543289
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper systematically derives design dimensions for the structured
evaluation of explainable artificial intelligence (XAI) approaches. These
dimensions enable a descriptive characterization, facilitating comparisons
between different study designs. They further structure the design space of
XAI, converging towards a precise terminology required for a rigorous study of
XAI. Our literature review differentiates between comparative studies and
application papers, revealing methodological differences between the fields of
machine learning, human-computer interaction, and visual analytics. Generally,
each of these disciplines targets specific parts of the XAI process. Bridging
the resulting gaps enables a holistic evaluation of XAI in real-world
scenarios, as proposed by our conceptual model characterizing bias sources and
trust-building. Furthermore, we identify and discuss the potential for future
work based on observed research gaps that should lead to better coverage of the
proposed model.
- Abstract（参考訳）: 本稿では、説明可能な人工知能(XAI)のアプローチの構造評価のための設計次元を体系的に導出する。
これらの次元は記述的特徴付けを可能にし、異なる研究デザインの比較を容易にする。
彼らはさらにXAIの設計空間を構造化し、XAIの厳密な研究に必要な正確な用語に収束した。
本論文は,比較研究と応用論文を区別し,機械学習,人間-コンピュータインタラクション,視覚分析の方法論的差異を明らかにする。
一般的に、これらの規律はXAIプロセスの特定の部分をターゲットにしている。
得られたギャップを埋めることで,現実シナリオにおけるXAIの全体的評価が可能となり,バイアス源と信頼構築を特徴付ける概念モデルが提案する。
さらに,提案モデルの改良に繋がる観測された研究ギャップに基づいて,今後の研究の可能性を特定し,議論する。
関連論文リスト
- Dimensions of Generative AI Evaluation Design [51.541816010127256]
我々は、GenAI評価設計に関わる重要な選択を捉えるための一般的な次元のセットを提案する。
これらの次元には、評価設定、タスクタイプ、入力ソース、インタラクションスタイル、期間、メトリックタイプ、スコアリング方法が含まれる。
論文 参考訳（メタデータ） (2024-11-19T18:25:30Z) - User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - SIDU-TXT: An XAI Algorithm for NLP with a Holistic Assessment Approach [14.928572140620245]
画像に基づく分類において、正統領域全体を局所化する能力に優れる「相似性差と特異性」(SIDU)XAI法をテキストデータに拡張する。
拡張されたSIDU-TXTは、ブラックボックスモデルから特徴活性化マップを使用して、粒度の細かい単語ベースのヒートマップを生成する。
映画レビューデータセットの感情分析タスクにおいて,SIDU-TXTは機能的評価と人為的評価の両方において優れていることがわかった。
論文 参考訳（メタデータ） (2024-02-05T14:29:54Z) - Explainable artificial intelligence approaches for brain-computer
interfaces: a review and design space [6.786321327136925]
本稿では、Brain-Computer Interfacesに適用された説明可能な人工知能技術の統合的な視点について述べる。
Brain-Computer Interfacesは、予測モデルを使用して、様々なハイテイクアプリケーションのために脳信号を解釈する。
BCI文学におけるXAIの統合的な視点は欠如している。
論文 参考訳（メタデータ） (2023-12-20T13:56:31Z) - Syntax-Informed Interactive Model for Comprehensive Aspect-Based
Sentiment Analysis [0.0]
総合ABSAのためのシンタクティック・依存性強化マルチタスクインタラクション・アーキテクチャ(SDEMTIA)を提案する。
我々のアプローチは、SDEIN(Syntactic Dependency Embedded Interactive Network)を用いた構文知識(依存関係と型)を革新的に活用する。
また,学習効率を高めるために,マルチタスク学習フレームワークに,新規で効率的なメッセージパッシング機構を組み込んだ。
論文 参考訳（メタデータ） (2023-11-28T16:03:22Z) - Document AI: A Comparative Study of Transformer-Based, Graph-Based
Models, and Convolutional Neural Networks For Document Layout Analysis [3.231170156689185]
Document AIは、自然言語処理とコンピュータビジョン技術を活用して、文書を自動的に分析することを目的としている。
Document AIの主要なタスクの1つはドキュメントレイアウト分析であり、レイアウト、画像、テキストの内容と空間的関係を解釈することでドキュメントページを構造化する。
論文 参考訳（メタデータ） (2023-08-29T16:58:03Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Connecting Algorithmic Research and Usage Contexts: A Perspective of
Contextualized Evaluation for Explainable AI [65.44737844681256]
説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。
このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
論文 参考訳（メタデータ） (2022-06-22T05:17:33Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z) - Introducing Syntactic Structures into Target Opinion Word Extraction
with Deep Learning [89.64620296557177]
目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。
また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。
提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
論文 参考訳（メタデータ） (2020-10-26T07:13:17Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳（メタデータ） (2020-09-25T12:01:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。