論文の概要: Don't Explain without Verifying Veracity: An Evaluation of Explainable
AI with Video Activity Recognition
- arxiv url: http://arxiv.org/abs/2005.02335v1
- Date: Tue, 5 May 2020 17:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 13:40:59.944997
- Title: Don't Explain without Verifying Veracity: An Evaluation of Explainable
AI with Video Activity Recognition
- Title（参考訳）: 検証せずに説明してはいけない:ビデオアクティビティ認識による説明可能なaiの評価
- Authors: Mahsan Nourani, Chiradeep Roy, Tahrima Rahman, Eric D. Ragan, Nicholas
Ruozzi, Vibhav Gogate
- Abstract要約: 本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。
ビデオレビューと問合せ作業における説明精度のばらつきを比較した。
その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
- 参考スコア（独自算出の注目度）: 24.10997778856368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Explainable machine learning and artificial intelligence models have been
used to justify a model's decision-making process. This added transparency aims
to help improve user performance and understanding of the underlying model.
However, in practice, explainable systems face many open questions and
challenges. Specifically, designers might reduce the complexity of deep
learning models in order to provide interpretability. The explanations
generated by these simplified models, however, might not accurately justify and
be truthful to the model. This can further add confusion to the users as they
might not find the explanations meaningful with respect to the model
predictions. Understanding how these explanations affect user behavior is an
ongoing challenge. In this paper, we explore how explanation veracity affects
user performance and agreement in intelligent systems. Through a controlled
user study with an explainable activity recognition system, we compare
variations in explanation veracity for a video review and querying task. The
results suggest that low veracity explanations significantly decrease user
performance and agreement compared to both accurate explanations and a system
without explanations. These findings demonstrate the importance of accurate and
understandable explanations and caution that poor explanations can sometimes be
worse than no explanations with respect to their effect on user performance and
reliance on an AI system.
- Abstract（参考訳）: 説明可能な機械学習と人工知能モデルは、モデルの意思決定プロセスを正当化するために使われてきた。
この透明性は、ユーザパフォーマンスの向上と基盤となるモデルの理解を支援することを目的としている。
しかし実際には、説明可能なシステムは多くのオープンな問題や課題に直面している。
特に、設計者は解釈可能性を提供するために深層学習モデルの複雑さを減らすかもしれない。
しかし、これらの単純化されたモデルによって生成された説明は、正確には正当化されず、モデルに忠実であるかもしれない。
これにより、モデル予測に関して意味のある説明が見つからない可能性があるため、ユーザをさらに混乱させる可能性がある。
これらの説明がユーザーの行動にどのように影響するかを理解することは、現在進行中の課題である。
本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性について考察する。
説明可能なアクティビティ認識システムを用いたユーザスタディを通じて,ビデオレビューおよびクエリタスクにおける説明妥当性の変動を比較する。
その結果, 精度の低い説明は, 正確な説明と説明のないシステムと比較して, ユーザパフォーマンスと合意を著しく低下させることがわかった。
これらの知見は、正確で理解可能な説明の重要性を示し、悪い説明は、ユーザーのパフォーマンスとaiシステムへの依存に与えた影響に関して、説明が全くないよりも悪い場合があると警告する。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Explaining Explainability: Towards Deeper Actionable Insights into Deep
Learning through Second-order Explainability [70.60433013657693]
2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。
そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-06-14T23:24:01Z) - Causalainer: Causal Explainer for Automatic Video Summarization [77.36225634727221]
多くのアプリケーションシナリオにおいて、不適切なビデオ要約は大きな影響を与える可能性がある。
説明可能性のモデリングは重要な関心事です。
Causalainerと呼ばれるCausal Explainerがこの問題に対処するために提案されている。
論文 参考訳（メタデータ） (2023-04-30T11:42:06Z) - Stop ordering machine learning algorithms by their explainability! A
user-centered investigation of performance and explainability [0.0]
機械学習アルゴリズムのモデル性能と説明可能性のトレードオフについて検討する。
エンドユーザの認識では、トレードオフは徐々に減少しています。
第2の実験の結果、説明可能な人工知能の強化は説明可能性を高めるのに有効であるが、このタイプの説明はエンドユーザの知覚に不可欠な役割を担っていることがわかった。
論文 参考訳（メタデータ） (2022-06-20T08:32:38Z) - Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。
筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
論文 参考訳（メタデータ） (2022-04-22T16:43:39Z) - Features of Explainability: How users understand counterfactual and
causal explanations for categorical and continuous features in XAI [10.151828072611428]
対物的説明は、AI決定の解釈可能性、レコメンデーション、バイアスに対処するためにますます使われています。
本研究では,ユーザ予測の客観的精度に対する反事実的・因果的説明の効果を検証した。
また, 利用者は, カテゴリー的特徴を参照する説明を, 連続的特徴を参照する説明よりも容易に理解できることがわかった。
論文 参考訳（メタデータ） (2022-04-21T15:01:09Z) - This is not the Texture you are looking for! Introducing Novel
Counterfactual Explanations for Non-Experts using Generative Adversarial
Learning [59.17685450892182]
反実用説明システムは、入力画像を変更して反実用推論を可能にする。
本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。
その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
論文 参考訳（メタデータ） (2020-12-22T10:08:05Z) - Explanations of Black-Box Model Predictions by Contextual Importance and
Utility [1.7188280334580195]
本稿では,初級者だけでなく専門家が容易に理解できる説明を抽出するために,文脈重要度(CI)と文脈実用性(CU)の概念を提案する。
本手法は,モデルを解釈可能なモデルに変換することなく予測結果を説明する。
カーセレクションの例とアイリスの花分類における説明の有用性を,完全な(つまり,個人の予測の原因)と対照的な説明を提示することによって示す。
論文 参考訳（メタデータ） (2020-05-30T06:49:50Z) - A general framework for scientifically inspired explanations in AI [76.48625630211943]
我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。
このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
論文 参考訳（メタデータ） (2020-03-02T10:32:21Z) - Deceptive AI Explanations: Creation and Detection [3.197020142231916]
我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。
実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。
被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
論文 参考訳（メタデータ） (2020-01-21T16:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。