論文の概要: A Human-Centric Assessment Framework for AI

• arxiv url: http://arxiv.org/abs/2205.12749v1
• Date: Wed, 25 May 2022 12:59:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 15:06:54.286367
• Title: A Human-Centric Assessment Framework for AI
• Title（参考訳）: AIのための人間中心評価フレームワーク
• Authors: Sascha Saralajew and Ammar Shaker and Zhao Xu and Kiril Gashteovski and Bhushan Kotnis and Wiem Ben-Rim and J\"urgen Quittek and Carolin Lawrence
• Abstract要約: 説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。 チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。 このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
• 参考スコア（独自算出の注目度）: 11.065260433086024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rise of AI systems in real-world applications comes the need for reliable and trustworthy AI. An important aspect for this are explainable AI systems. However, there is no agreed standard on how explainable AI systems should be assessed. Inspired by the Turing test, we introduce a human-centric assessment framework where a leading domain expert accepts or rejects the solutions of an AI system and another domain expert. By comparing the acceptance rates of provided solutions, we can assess how the AI system performs in comparison to the domain expert, and in turn whether or not the AI system's explanations (if provided) are human understandable. This setup -- comparable to the Turing test -- can serve as framework for a wide range of human-centric AI system assessments. We demonstrate this by presenting two instantiations: (1) an assessment that measures the classification accuracy of a system with the option to incorporate label uncertainties; (2) an assessment where the usefulness of provided explanations is determined in a human-centric manner.
• Abstract（参考訳）: 現実世界のアプリケーションにおけるAIシステムの台頭により、信頼できる信頼できるAIの必要性がもたらされる。 これの重要な側面は、説明可能なAIシステムである。 しかし、説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。 チューリングテストに触発されて、トップドメインの専門家がAIシステムと他のドメインエキスパートのソリューションを受け入れ、拒否する、人間中心のアセスメントフレームワークを導入しました。 提供されたソリューションの受け入れ率を比較することで、AIシステムがドメインエキスパートと比較してどのように機能するかを評価し、AIシステムの説明(提供された場合)が人間の理解可能かどうかを評価することができる。 このセットアップ(チューリングテストと同等)は、幅広い人間中心のAIシステムアセスメントのためのフレームワークとして機能する。 本研究では,(1)ラベルの不確かさを組み込むオプションでシステムの分類精度を計測する評価,(2)提供された説明の有用性を人間中心の方法で判定する評価の2つを提示することにより,これを実証する。

関連論文リスト

• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Evaluating Understanding on Conceptual Abstraction Benchmarks [0.0]
  AIの長期的な目標は、人間のような方法で概念を理解するシステムを構築することである。 概念を理解するには、さまざまなコンテキストでそれを使う能力が必要である、と私たちは主張する。 我々の概念に基づく評価アプローチは、従来のテストセットが隠したはずのAIシステムに関する情報を明らかにする。
  論文  参考訳（メタデータ） (2022-06-28T17:52:46Z)
• Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
  Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。 これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
  論文  参考訳（メタデータ） (2022-01-26T18:53:09Z)
• Knowledge-intensive Language Understanding for Explainable AI [9.541228711585886]
  AIが主導する意思決定の仕方と、どの決定要因が含まれているかを理解することが不可欠である。 意思決定に直接関係する人間中心の説明を持つことは重要である。 人間が理解し、使用する明示的なドメイン知識を巻き込む必要がある。
  論文  参考訳（メタデータ） (2021-08-02T21:12:30Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)
• Human Evaluation of Interpretability: The Case of AI-Generated Music Knowledge [19.508678969335882]
  我々は、芸術と人文科学におけるAIが発見する知識/ルールを評価することに注力する。 本稿では,洗練された記号的/数値的対象として表現されたAI生成音楽理論/ルールの人間生成言語解釈を収集し,評価する実験手法を提案する。
  論文  参考訳（メタデータ） (2020-04-15T06:03:34Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。