論文の概要: A Human-Centric Assessment Framework for AI
- arxiv url: http://arxiv.org/abs/2205.12749v1
- Date: Wed, 25 May 2022 12:59:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 15:06:54.286367
- Title: A Human-Centric Assessment Framework for AI
- Title(参考訳): AIのための人間中心評価フレームワーク
- Authors: Sascha Saralajew and Ammar Shaker and Zhao Xu and Kiril Gashteovski
and Bhushan Kotnis and Wiem Ben-Rim and J\"urgen Quittek and Carolin Lawrence
- Abstract要約: 説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。
チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。
このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
- 参考スコア(独自算出の注目度): 11.065260433086024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rise of AI systems in real-world applications comes the need for
reliable and trustworthy AI. An important aspect for this are explainable AI
systems. However, there is no agreed standard on how explainable AI systems
should be assessed. Inspired by the Turing test, we introduce a human-centric
assessment framework where a leading domain expert accepts or rejects the
solutions of an AI system and another domain expert. By comparing the
acceptance rates of provided solutions, we can assess how the AI system
performs in comparison to the domain expert, and in turn whether or not the AI
system's explanations (if provided) are human understandable. This setup --
comparable to the Turing test -- can serve as framework for a wide range of
human-centric AI system assessments. We demonstrate this by presenting two
instantiations: (1) an assessment that measures the classification accuracy of
a system with the option to incorporate label uncertainties; (2) an assessment
where the usefulness of provided explanations is determined in a human-centric
manner.
- Abstract(参考訳): 現実世界のアプリケーションにおけるAIシステムの台頭により、信頼できる信頼できるAIの必要性がもたらされる。
これの重要な側面は、説明可能なAIシステムである。
しかし、説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。
チューリングテストに触発されて、トップドメインの専門家がAIシステムと他のドメインエキスパートのソリューションを受け入れ、拒否する、人間中心のアセスメントフレームワークを導入しました。
提供されたソリューションの受け入れ率を比較することで、AIシステムがドメインエキスパートと比較してどのように機能するかを評価し、AIシステムの説明(提供された場合)が人間の理解可能かどうかを評価することができる。
このセットアップ(チューリングテストと同等)は、幅広い人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
本研究では,(1)ラベルの不確かさを組み込むオプションでシステムの分類精度を計測する評価,(2)提供された説明の有用性を人間中心の方法で判定する評価の2つを提示することにより,これを実証する。
関連論文リスト
- The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Evaluating Understanding on Conceptual Abstraction Benchmarks [0.0]
AIの長期的な目標は、人間のような方法で概念を理解するシステムを構築することである。
概念を理解するには、さまざまなコンテキストでそれを使う能力が必要である、と私たちは主張する。
我々の概念に基づく評価アプローチは、従来のテストセットが隠したはずのAIシステムに関する情報を明らかにする。
論文 参考訳(メタデータ) (2022-06-28T17:52:46Z) - Doubting AI Predictions: Influence-Driven Second Opinion Recommendation [92.30805227803688]
我々は,補完的な意見を提供する可能性のある専門家を識別する,共通の組織的実践に基づいて,人間とAIのコラボレーションを強化する方法を提案する。
提案手法は、一部の専門家がアルゴリズムによる評価に異を唱えるかどうかを特定することによって、生産的な不一致を活用することを目的としている。
論文 参考訳(メタデータ) (2022-04-29T20:35:07Z) - Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。
AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。
我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
論文 参考訳(メタデータ) (2022-04-11T14:36:39Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳(メタデータ) (2022-01-26T18:53:09Z) - Knowledge-intensive Language Understanding for Explainable AI [9.541228711585886]
AIが主導する意思決定の仕方と、どの決定要因が含まれているかを理解することが不可欠である。
意思決定に直接関係する人間中心の説明を持つことは重要である。
人間が理解し、使用する明示的なドメイン知識を巻き込む必要がある。
論文 参考訳(メタデータ) (2021-08-02T21:12:30Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳(メタデータ) (2021-05-07T12:01:31Z) - The role of explainability in creating trustworthy artificial
intelligence for health care: a comprehensive survey of the terminology,
design choices, and evaluation strategies [1.2762298148425795]
透明性の欠如は、医療におけるAIシステムの実装における主要な障壁の1つとして認識されている。
我々は最近の文献をレビューし、説明可能なAIシステムの設計について研究者や実践者にガイダンスを提供する。
我々は、説明可能なモデリングが信頼できるAIに貢献できると結論づけるが、説明可能性の利点は実際に証明する必要がある。
論文 参考訳(メタデータ) (2020-07-31T09:08:27Z) - Human Evaluation of Interpretability: The Case of AI-Generated Music
Knowledge [19.508678969335882]
我々は、芸術と人文科学におけるAIが発見する知識/ルールを評価することに注力する。
本稿では,洗練された記号的/数値的対象として表現されたAI生成音楽理論/ルールの人間生成言語解釈を収集し,評価する実験手法を提案する。
論文 参考訳(メタデータ) (2020-04-15T06:03:34Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。