論文の概要: Improving Users' Mental Model with Attention-directed Counterfactual Edits

• arxiv url: http://arxiv.org/abs/2110.06863v1
• Date: Wed, 13 Oct 2021 16:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 14:06:23.511436
• Title: Improving Users' Mental Model with Attention-directed Counterfactual Edits
• Title（参考訳）: 注意方向の対物編集によるユーザのメンタルモデルの改善
• Authors: Kamran Alipour, Arijit Ray, Xiao Lin, Michael Cogswell, Jurgen P. Schulze, Yi Yao, Giedrius T. Burachas
• Abstract要約: 制御された対実画像探索例の表示は、ランダムな例を示すよりも、ユーザのメンタルモデルを改善するのに効果的であることを示す。 我々は、GAN(Generative Adversarial Network)の最近の進歩を利用して、画像に対する特定の関心領域を削除・印加することで、対物画像を生成する。 本研究は, 被験者の心理モデルを用いて, 実験対象の画像上でのモデルの性能予測を行うことにより, 被験者の心理モデルをテストする。
• 参考スコア（独自算出の注目度）: 6.380697901046864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the domain of Visual Question Answering (VQA), studies have shown improvement in users' mental model of the VQA system when they are exposed to examples of how these systems answer certain Image-Question (IQ) pairs. In this work, we show that showing controlled counterfactual image-question examples are more effective at improving the mental model of users as compared to simply showing random examples. We compare a generative approach and a retrieval-based approach to show counterfactual examples. We use recent advances in generative adversarial networks (GANs) to generate counterfactual images by deleting and inpainting certain regions of interest in the image. We then expose users to changes in the VQA system's answer on those altered images. To select the region of interest for inpainting, we experiment with using both human-annotated attention maps and a fully automatic method that uses the VQA system's attention values. Finally, we test the user's mental model by asking them to predict the model's performance on a test counterfactual image. We note an overall improvement in users' accuracy to predict answer change when shown counterfactual explanations. While realistic retrieved counterfactuals obviously are the most effective at improving the mental model, we show that a generative approach can also be equally effective.
• Abstract（参考訳）: VQA(Visual Question Answering)の分野では、VQAシステムのユーザのメンタルモデルの改善が示され、これらのシステムがある種の画像クエスト(IQ)ペアにどのように答えるかの例が明らかになった。 本研究では,制御された対実画像探索例の表示が,ランダムな例に比べて,ユーザのメンタルモデルの改善に有効であることを示す。 生成的アプローチと検索に基づくアプローチを比較して,実例を示す。 近年,gans (generative adversarial network) の進歩により,画像に対する特定の関心領域を削除・塗りつぶしして偽画像を生成するようになった。 次に、変更画像に対するVQAシステムの回答の変更にユーザを公開します。 本研究では,VQAシステムのアテンション値を用いたアテンションマップと完全自動手法の両方を用いて,インペイントの関心領域を選択する。 最後に,テストの反事実画像上でモデルのパフォーマンスを予測して,ユーザのメンタルモデルをテストする。 反実的な説明を示すと,回答の精度が向上し,回答の変化を予測することに留意する。 現実的に回収された反事実は明らかに精神モデルを改善する上で最も効果的であるが、生成的アプローチも同じように効果的であることを示す。

関連論文リスト

• Positive-Unlabelled Learning for Improving Image-based Recommender System Explainability [2.9748898344267785]
  本研究は,Positive-Unlabelled (PU) Learning技術を活用することで,新たな説明者トレーニングパイプラインを提案する。 実験により、このPUベースのアプローチは、6つの人気のある実世界のデータセットで最先端の非PUメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-09T10:40:31Z)
• CricaVPR: Cross-image Correlation-aware Representation Learning for Visual Place Recognition [73.51329037954866]
  視覚的位置認識のための画像間相関認識を用いたロバストなグローバル表現手法を提案する。 本手法では,バッチ内の複数の画像の相関にアテンション機構を用いる。 本手法は,訓練時間を大幅に短縮し,最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-29T15:05:11Z)
• DiG-IN: Diffusion Guidance for Investigating Networks -- Uncovering Classifier Differences Neuron Visualisations and Visual Counterfactual Explanations [35.458709912618176]
  ディープラーニングは、ImageNetのような複雑な画像分類タスク、予期せぬ障害モード、例えばスプリアス機能などに大きな進歩をもたらした。 安全クリティカルなタスクでは、その決定のブラックボックスの性質は問題であり、説明や少なくとも意思決定を行う方法が緊急に必要である。 本稿では,これらの問題に対して,ガイド画像生成のためのフレームワークを用いて分類器由来の目的を最適化した画像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T17:35:29Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Impact of Feedback Type on Explanatory Interactive Learning [4.039245878626345]
  Explanatory Interactive Learning (XIL)は、Human-in-the-Loop(HITL)ベースの対話型学習シナリオを実装するために、視覚モデルの説明に関するユーザフィードバックを収集する。 画像分類タスクにおける2つの異なるユーザフィードバックタイプの有効性を比較した。 本研究では,モデルに有効な画像特徴にフォーカスするよう指示するユーザフィードバックよりも優れた分類と説明の精度で,モデルが有意な結果を見出すような突発的な画像特徴の識別と注釈を示す。
  論文  参考訳（メタデータ） (2022-09-26T07:33:54Z)
• Masked Autoencoders are Robust Data Augmentors [90.34825840657774]
  ディープニューラルネットワークの一般化には、画像拡張のような正規化技術が必要である。 本稿では,トレーニングプロセスの正規化に向けて,新たな拡張の視点を提案する。 このようなモデルに基づく非線形変換をデータ拡張として活用することで,高レベルの認識タスクを向上できることを示す。
  論文  参考訳（メタデータ） (2022-06-10T02:41:48Z)
• Towards Teachable Reasoning Systems [29.59387051046722]
  質問応答のための授業可能な推論システム(QA)を開発した。 私たちのアプローチは3つあります。 まず、生成された推論の連鎖は、システムの内部の信念によってどのように答えが示唆されるかを示しています。 第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。 第3に、そのような補正の動的なメモリでモデルを増強する。
  論文  参考訳（メタデータ） (2022-04-27T17:15:07Z)
• COIN: Counterfactual Image Generation for VQA Interpretation [5.994412766684842]
  本稿では,VQAモデルに対する対実画像の生成による解釈可能性のアプローチを提案する。 単一画像上でのVQAモデルの結果の解釈に加えて、得られた結果と議論は、VQAモデルの振る舞いに関する広範な説明を提供する。
  論文  参考訳（メタデータ） (2022-01-10T13:51:35Z)
• Human-Adversarial Visual Question Answering [62.30715496829321]
  我々は、最先端のVQAモデルと人間工学の例を比較検討する。 これらの例で評価すると,多種多様な最先端モデルの性能が低下していることが分かる。
  論文  参考訳（メタデータ） (2021-06-04T06:25:32Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
  MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
  論文  参考訳（メタデータ） (2020-09-18T00:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。