論文の概要: Human-Adversarial Visual Question Answering

• arxiv url: http://arxiv.org/abs/2106.02280v1
• Date: Fri, 4 Jun 2021 06:25:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 04:39:10.861259
• Title: Human-Adversarial Visual Question Answering
• Title（参考訳）: 対人的視覚的質問応答
• Authors: Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, Douwe Kiela
• Abstract要約: 我々は、最先端のVQAモデルと人間工学の例を比較検討する。 これらの例で評価すると,多種多様な最先端モデルの性能が低下していることが分かる。
• 参考スコア（独自算出の注目度）: 62.30715496829321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Performance on the most commonly used Visual Question Answering dataset (VQA v2) is starting to approach human accuracy. However, in interacting with state-of-the-art VQA models, it is clear that the problem is far from being solved. In order to stress test VQA models, we benchmark them against human-adversarial examples. Human subjects interact with a state-of-the-art VQA model, and for each image in the dataset, attempt to find a question where the model's predicted answer is incorrect. We find that a wide range of state-of-the-art models perform poorly when evaluated on these examples. We conduct an extensive analysis of the collected adversarial examples and provide guidance on future research directions. We hope that this Adversarial VQA (AdVQA) benchmark can help drive progress in the field and advance the state of the art.
• Abstract（参考訳）: 最も一般的なVisual Question Answeringデータセット(VQA v2)のパフォーマンスは、人間の精度に近づき始めている。 しかし、最先端のVQAモデルと相互作用する場合、問題が解決されるには程遠いことは明らかである。 VQAモデルをテストするために、人間と敵対する例と比較した。 人間は最先端のVQAモデルと相互作用し、データセットの各画像に対して、モデルの予測された答えが正しくないかどうかを問う。 これらの例で評価すると、幅広い最先端モデルの性能が低いことが分かる。 我々は,収集した敵の事例を広範囲に分析し,今後の研究の方向性について指導する。 このAdVQA(Adversarial VQA)ベンチマークが、この分野の進歩を加速させ、最先端の最先端を推し進めることを願っている。

関連論文リスト

• Generalizing Visual Question Answering from Synthetic to Human-Written Questions via a Chain of QA with a Large Language Model [4.41132900194195]
  人手による質問(CoQAH)に対するQAの連鎖という新しい手法を提案する。 CoQAHは、大言語モデルと合成データに基づいて訓練されたVQAモデルの間の一連のQA相互作用を利用して、人間による質問に対して論理的回答を導出する。 我々は,3Dレンダー画像と胸部X線画像の2種類のVQAデータセットに対するCoQAHの有効性を検証した。
  論文  参考訳（メタデータ） (2024-01-12T06:49:49Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Toward Unsupervised Realistic Visual Question Answering [70.67698100148414]
  現実的なVQA(RVQA)の問題について検討し、モデルが答えられない質問(UQ)を拒絶し、答えられる質問(AQ)に答えなければならない。 1)データセットには不整合UQが多すぎること,(2)多数の注釈付きUQがトレーニングに必要とされること,の2つの欠点を最初に指摘した。 我々は、既存のVQAデータセットのAQと約29万の人間の注釈付きUQを組み合わせた新しいテストデータセットRGQAを提案する。 これは、画像と質問をランダムにペアリングして得られる擬似UQと、それを結合する。
  論文  参考訳（メタデータ） (2023-03-09T06:58:29Z)
• BinaryVQA: A Versatile Test Set to Evaluate the Out-of-Distribution Generalization of VQA Models [47.64219291655723]
  我々は,VQAモデルの限界を押し上げるために,BinaryVQA(BinaryVQA)と呼ばれる視覚的質問応答のための新しいテストセットを導入する。 私たちのデータセットには1,024のイメージに7,800の質問が含まれており、さまざまなオブジェクト、トピック、コンセプトをカバーしています。 質問の約63%は肯定的な回答を持っている。
  論文  参考訳（メタデータ） (2023-01-28T00:03:44Z)
• All You May Need for VQA are Image Captions [24.634567673906666]
  ボリュームにおけるVQAの例を自動的に導出する手法を提案する。 得られたデータは高品質であることを示す。 データに基づいてトレーニングされたVQAモデルは、最先端のゼロショット精度を2桁改善する。
  論文  参考訳（メタデータ） (2022-05-04T04:09:23Z)
• Adversarial VQA: A New Benchmark for Evaluating the Robustness of VQA Models [45.777326168922635]
  本稿では,新たな大規模VQAベンチマークであるAdversarial VQAを紹介する。 非熟練アノテータは比較的容易にSOTA VQAモデルに攻撃できることがわかった。 大規模な事前訓練モデルと敵のトレーニング方法はどちらも、標準的なVQA v2データセットで達成できるものよりもはるかに低いパフォーマンスしか達成できない。
  論文  参考訳（メタデータ） (2021-06-01T05:54:41Z)
• Self-Supervised VQA: Answering Visual Questions using Images and Captions [38.05223339919346]
  VQAモデルは、トレーニング用に人間のアノテーション付きイメージクエスト・アンサー(I-Q-A)トリプルを使用したデータセットの可用性を前提としている。 人間の注釈付きQ-Aペアを使わずに、画像と関連するテキストキャプションだけでモデルをトレーニングできるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-12-04T01:22:05Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)
• SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions [66.86887670416193]
  現状のVQAモデルでは、知覚や推論の問題に答える上で同等の性能を持つが、一貫性の問題に悩まされていることを示す。 この欠点に対処するため、サブクエスト対応ネットワークチューニング(SQuINT)というアプローチを提案する。 我々は,SQuINTがモデル一貫性を5%向上し,VQAにおける推論問題の性能も改善し,注意マップも改善したことを示す。
  論文  参考訳（メタデータ） (2020-01-20T01:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。