論文の概要: How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels

• arxiv url: http://arxiv.org/abs/2008.11721v2
• Date: Fri, 28 Aug 2020 02:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 20:44:33.647246
• Title: How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels
• Title（参考訳）: 一般ユーザへのマシン生成解釈はどの程度有用か? 誤予測ラベルの誘導に関する人間による評価
• Authors: Hua Shen and Ting-Hao Kenneth Huang
• Abstract要約: 機械が生成した解釈が、ユーザーがなぜエラーを犯しているのかを理解するのに役立つかどうかは不明だ。 本稿では,機械による視覚的解釈が,誤予測されたラベルの理解に役立つかどうかについて検討する。 我々は、画像と正しいラベルを150人のオンラインクラウドワーカーに提示し、不正に予測されたラベルを機械生成の視覚的解釈を示さずに選択するよう依頼した。
• 参考スコア（独自算出の注目度）: 15.447724512730266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explaining to users why automated systems make certain mistakes is important and challenging. Researchers have proposed ways to automatically produce interpretations for deep neural network models. However, it is unclear how useful these interpretations are in helping users figure out why they are getting an error. If an interpretation effectively explains to users how the underlying deep neural network model works, people who were presented with the interpretation should be better at predicting the model's outputs than those who were not. This paper presents an investigation on whether or not showing machine-generated visual interpretations helps users understand the incorrectly predicted labels produced by image classifiers. We showed the images and the correct labels to 150 online crowd workers and asked them to select the incorrectly predicted labels with or without showing them the machine-generated visual interpretations. The results demonstrated that displaying the visual interpretations did not increase, but rather decreased, the average guessing accuracy by roughly 10%.
• Abstract（参考訳）: 自動化システムがミスを犯す理由をユーザに説明することは重要で難しい。 研究者はディープニューラルネットワークモデルの解釈を自動的に生成する方法を提案している。 しかし、これらの解釈が、ユーザーがなぜエラーを犯しているのかを理解するのに役立つかどうかは不明だ。 もし解釈が、基盤となるディープニューラルネットワークモデルがどのように機能するかをユーザに効果的に説明すれば、解釈を提示された人々は、そうでない者よりもモデルのアウトプットを予測するのがよいはずだ。 本稿では,画像分類器が生成した誤予測ラベルの理解を支援するために,機械による視覚的解釈を示すか否かについて検討する。 我々は、画像と正しいラベルを150人のオンラインクラウドワーカーに提示し、不正に予測されたラベルを機械生成の視覚的解釈を示さずに選択するよう依頼した。 その結果、視覚的解釈の表示は増加せず、むしろ減少し、平均推定精度はおよそ10%向上した。

関連論文リスト

• Confident Teacher, Confident Student? A Novel User Study Design for Investigating the Didactic Potential of Explanations and their Impact on Uncertainty [1.0855602842179624]
  説明可能な人工知能(XAI)を用いた視覚課題における説明が人的パフォーマンスに与える影響について検討する。 アノテーションの精度が向上し、AIアシストに対する不確実性が低下していることがわかりました。 ユーザーは説明を示すと、モデルの予測をより頻繁に再現する傾向がある。
  論文  参考訳（メタデータ） (2024-09-10T12:59:50Z)
• Explainable Verbal Deception Detection using Transformers [1.5104201344012347]
  本稿では,BERT(およびRoBERTa),マルチヘッドアテンション,コアテンション,トランスフォーマーの組み合わせを含む6つのディープラーニングモデルを提案し,評価する。 この結果から,我々のトランスを用いたモデルでは,自動偽造検出性能(精度+2.11%)が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T17:36:00Z)
• Deconfounding to Explanation Evaluation in Graph Neural Networks [136.73451468551656]
  我々は、全グラフと部分グラフの間に分布シフトが存在し、分布外問題を引き起こすと論じる。 本稿では,モデル予測に対する説明文の因果効果を評価するために,Decon founded Subgraph Evaluation (DSE)を提案する。
  論文  参考訳（メタデータ） (2022-01-21T18:05:00Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Meaningfully Explaining a Model's Mistakes [16.521189362225996]
  本稿では,概念的説明スコア (CES) の体系的アプローチを提案する。 CESでは、分類器が特定のテストサンプルに対して、人間の理解可能な概念で間違いを犯す理由を説明している。 また、意図的かつ既知の刺激的な相関関係を持つ新しいモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2021-06-24T01:49:55Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception [77.34726150561087]
  説明における歪みの影響を知覚距離を埋め込むことで評価する手法を提案する。 Imagenet-Cデータセットの画像の説明を生成し、サロゲート説明書の知覚距離を使用して歪んだ画像と参照画像のより一貫性のある説明を作成する方法を示しています。
  論文  参考訳（メタデータ） (2021-02-22T12:38:53Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Don't Explain without Verifying Veracity: An Evaluation of Explainable AI with Video Activity Recognition [24.10997778856368]
  本稿では,知的システムにおけるユーザパフォーマンスと合意の妥当性がいかに影響するかを考察する。 ビデオレビューと問合せ作業における説明精度のばらつきを比較した。 その結果,信頼性の低い説明がユーザパフォーマンスと合意を著しく低下させることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T17:06:46Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。