論文の概要: Knowing What VQA Does Not: Pointing to Error-Inducing Regions to Improve Explanation Helpfulness

• arxiv url: http://arxiv.org/abs/2103.14712v1
• Date: Fri, 26 Mar 2021 19:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-03 16:16:36.745291
• Title: Knowing What VQA Does Not: Pointing to Error-Inducing Regions to Improve Explanation Helpfulness
• Title（参考訳）: VQAがやらないことを知る: 説明のヘルプネスを改善するためにエラー誘発領域を指差す
• Authors: Arijit Ray, Michael Cogswell, Xiao Lin, Kamran Alipour, Ajay Divakaran, Yi Yao, Giedrius Burachas
• Abstract要約: モデルがerrになりやすい画像領域をハイライトしてエラーを明確にするエラーマップを提案します。 エラーマップは、正しく参加した地域が正しく処理され、間違った回答につながる可能性があることを示します。 我々は,新しい説明がベースラインよりもモデルの正確性を理解するのに役立つことを確認するために,ユーザ調査を実施している。
• 参考スコア（独自算出の注目度）: 8.914460931698137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention maps, a popular heatmap-based explanation method for Visual Question Answering (VQA), are supposed to help users understand the model by highlighting portions of the image/question used by the model to infer answers. However, we see that users are often misled by current attention map visualizations that point to relevant regions despite the model producing an incorrect answer. Hence, we propose Error Maps that clarify the error by highlighting image regions where the model is prone to err. Error maps can indicate when a correctly attended region may be processed incorrectly leading to an incorrect answer, and hence, improve users' understanding of those cases. To evaluate our new explanations, we further introduce a metric that simulates users' interpretation of explanations to evaluate their potential helpfulness to understand model correctness. We finally conduct user studies to see that our new explanations help users understand model correctness better than baselines by an expected 30% and that our proxy helpfulness metrics correlate strongly ($\rho>0.97$) with how well users can predict model correctness.
• Abstract（参考訳）: VQA(Visual Question Answering)の一般的なヒートマップに基づく説明手法であるアテンションマップは,モデルが回答を推測するために使用するイメージ/クエストの一部を強調することにより,モデルの理解を支援する。 しかし,モデルが不正確な回答を生み出しているにも関わらず,関連する領域を指し示す現在の注意マップの可視化によって,ユーザは誤解されることが多い。 そこで本研究では,モデルがerrになりやすい画像領域を強調することで誤りを明確にする誤りマップを提案する。 エラーマップは、正しく処理された領域が不正に処理された場合を示すことができ、その結果、そのケースに対するユーザの理解が向上する。 新たな説明を評価するために, ユーザの説明解釈をシミュレートし, モデルの正確性を理解する上での潜在的有用性を評価する指標を提案する。 最終的に、私たちの新しい説明が、予測30%のベースラインよりもモデルの正確性を理解するのに役立ち、私たちのプロキシの有用性の指標が、モデルの正確性をどのように予測できるかを強く($\rho>0.97$)関連付けるのに役立ちます。

関連論文リスト

• Clarify: Improving Model Robustness With Natural Language Corrections [59.041682704894555]
  モデルを教える標準的な方法は、大量のデータを提供することです。 このアプローチは、データ内の誤解を招く信号を拾うため、モデルに誤ったアイデアを教えることが多い。 モデル誤解をインタラクティブに修正するためのインターフェースと手法であるClarifyを提案する。
  論文  参考訳（メタデータ） (2024-02-06T05:11:38Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• What Else Do I Need to Know? The Effect of Background Information on Users' Reliance on QA Systems [23.69129423040988]
  本研究では,予測に十分な情報がない場合のQAシステムとのインタラクションについて検討する。 本研究は,モデルの正しさを評価するのに十分な情報がない場合でも,利用者がモデル予測に頼っていることを明らかにした。
  論文  参考訳（メタデータ） (2023-05-23T17:57:12Z)
• Rethinking interpretation: Input-agnostic saliency mapping of deep visual classifiers [28.28834523468462]
  Saliencyメソッドは、入力特徴をモデル出力に寄与させることで、ポストホックモデルの解釈を提供する。 入力特異性マッピングは本質的に誤解を招く特徴の帰属に影響を受けやすいことを示す。 本稿では,モデルが持つ高次特徴をその出力に対して計算的に推定する,入力非依存のサリエンシマッピングの新たな視点を紹介する。
  論文  参考訳（メタデータ） (2023-03-31T06:58:45Z)
• UKP-SQuARE v2 Explainability and Adversarial Attacks for Trustworthy QA [47.8796570442486]
  質問回答システムは、現実の意思決定をサポートするアプリケーションにますますデプロイされています。 本質的に解釈可能なモデルやポストホックな説明可能性メソッドは、モデルがその予測にどのように到着するかをユーザが理解するのに役立ちます。 SQuAREの新バージョンであるSQuARE v2を導入し、モデルを比較するための説明可能性インフラストラクチャを提供する。
  論文  参考訳（メタデータ） (2022-08-19T13:01:01Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks [0.745554610293091]
  本稿では,機能マップの各ユニットの関連性を定量化し,活用して視覚的説明を提供する新しい説明可能性手法であるADVISEを紹介する。 我々は、画像分類タスクにおいて、AlexNet、VGG16、ResNet50、XceptionをImageNetで事前訓練した上で、我々のアイデアを広く評価する。 さらに,ADVISEは衛生チェックをパスしながら,感度および実装独立性公理を満たすことを示す。
  論文  参考訳（メタデータ） (2022-03-02T18:16:57Z)
• SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency [64.67155167618894]
  本稿では、画像上の推論問題と最も強く相関する質問を決定するために、勾配に基づく解釈可能性アプローチを提案する。 次に,サブクエスト指向チューニング (SOrT) と呼ばれる,相対的勾配学習に基づくアプローチを提案する。 我々は、SOrTが既存のベースラインよりも最大6.5%のモデルの一貫性を向上し、また、視覚的グラウンド化を改善していることを示す。
  論文  参考訳（メタデータ） (2020-10-20T05:15:48Z)
• Uncertainty based Class Activation Maps for Visual Question Answering [30.859101872119517]
  本稿では,視覚的注意マップを提供する勾配に基づく確実性推定手法を提案する。 我々は,これらの推定値の勾配を用いて,より改良した現代確率的ディープラーニング手法を取り入れた。 提案手法は,深層学習モデルの精度向上と説明のためのレシピとみなすことができる。
  論文  参考訳（メタデータ） (2020-01-23T19:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。