論文の概要: Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering

• arxiv url: http://arxiv.org/abs/2109.06122v1
• Date: Mon, 13 Sep 2021 16:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:06:33.805658
• Title: Discovering the Unknown Knowns: Turning Implicit Knowledge in the Dataset into Explicit Training Examples for Visual Question Answering
• Title（参考訳）: 未知の未知の知識の発見: データセットの暗黙の知識を、視覚的質問応答のための明示的なトレーニング例に変える
• Authors: Jihyung Kil, Cheng Zhang, Dong Xuan, Wei-Lun Chao
• Abstract要約: 学習したVQAモデルに対する「未知」の多くは、データセットの中で暗黙的に「未知」であることがわかった。 我々は、この"既知の"知識をVQAのトレーニング例に変換するために、シンプルなデータ拡張パイプラインSimpleAugを紹介します。
• 参考スコア（独自算出の注目度）: 18.33311267792116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual question answering (VQA) is challenging not only because the model has to handle multi-modal information, but also because it is just so hard to collect sufficient training examples -- there are too many questions one can ask about an image. As a result, a VQA model trained solely on human-annotated examples could easily over-fit specific question styles or image contents that are being asked, leaving the model largely ignorant about the sheer diversity of questions. Existing methods address this issue primarily by introducing an auxiliary task such as visual grounding, cycle consistency, or debiasing. In this paper, we take a drastically different approach. We found that many of the "unknowns" to the learned VQA model are indeed "known" in the dataset implicitly. For instance, questions asking about the same object in different images are likely paraphrases; the number of detected or annotated objects in an image already provides the answer to the "how many" question, even if the question has not been annotated for that image. Building upon these insights, we present a simple data augmentation pipeline SimpleAug to turn this "known" knowledge into training examples for VQA. We show that these augmented examples can notably improve the learned VQA models' performance, not only on the VQA-CP dataset with language prior shifts but also on the VQA v2 dataset without such shifts. Our method further opens up the door to leverage weakly-labeled or unlabeled images in a principled way to enhance VQA models. Our code and data are publicly available at https://github.com/heendung/simpleAUG.
• Abstract（参考訳）: 視覚的質問応答(VQA)は、モデルがマルチモーダル情報を処理しなければならないだけでなく、十分なトレーニング例を集めるのが難しいため、イメージについて質問できる質問が多すぎるため、難しい。 結果として、人間に注釈を付けた例にのみ訓練されたVQAモデルは、質問されている特定の質問スタイルやイメージ内容に簡単に適合し、モデルのほとんどを質問の多様性について無視することができる。 既存の手法は、主に視覚的な接地、サイクルの一貫性、偏りといった補助的なタスクを導入することでこの問題に対処する。 本稿では, 大きく異なるアプローチを採る。 学習したvqaモデルに対する“未知”の多くは、暗黙的にデータセットで“知られている”ことが分かりました。 例えば、画像内の同じオブジェクトについて尋ねる質問は、おそらくパラフレーズであり、画像内の検出されたオブジェクトや注釈付きオブジェクトの数は、たとえその画像に注釈が付されていなくても、既に"どのくらい"質問に対する答えを与えている。 これらの洞察に基づいて、シンプルなデータ拡張パイプラインSimpleAugを紹介し、この"既知の"知識をVQAのトレーニング例に変換する。 これらの拡張例は、言語事前シフト付きVQA-CPデータセットだけでなく、そのようなシフトのないVQA v2データセット上でも、学習したVQAモデルの性能を顕著に向上させることができることを示す。 提案手法は,VQAモデルを強化するために,弱ラベル画像や未ラベル画像を活用するための扉を開放する。 私たちのコードとデータはhttps://github.com/heendung/simpleAUG.comで公開されています。

関連論文リスト

• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• Q: How to Specialize Large Vision-Language Models to Data-Scarce VQA Tasks? A: Self-Train on Unlabeled Images! [103.09776737512077]
  SelTDA(Self-Taught Data Augmentation)は、小規模なVQAデータセット上で大きな視覚言語モデルを微調整するための戦略である。 画像上に直接条件付の疑似ラベルを生成することで、未ラベル画像の疑似ラベル作成を可能にする。 我々は, 自己学習によるデータ拡張が, 対向的に検索された質問に対して堅牢性を高めることを示す一連の実験について述べる。
  論文  参考訳（メタデータ） (2023-06-06T18:00:47Z)
• OpenViVQA: Task, Dataset, and Multimodal Fusion Models for Visual Question Answering in Vietnamese [2.7528170226206443]
  ベトナム初の視覚的質問応答のための大規模データセットであるOpenViVQAデータセットを紹介する。 データセットは37,000以上の質問応答ペア(QA)に関連付けられた11,000以上の画像で構成されている。 提案手法は,SAAA,MCAN,LORA,M4CなどのSOTAモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-05-07T03:59:31Z)
• Human-Adversarial Visual Question Answering [62.30715496829321]
  我々は、最先端のVQAモデルと人間工学の例を比較検討する。 これらの例で評価すると,多種多様な最先端モデルの性能が低下していることが分かる。
  論文  参考訳（メタデータ） (2021-06-04T06:25:32Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)
• Self-Supervised VQA: Answering Visual Questions using Images and Captions [38.05223339919346]
  VQAモデルは、トレーニング用に人間のアノテーション付きイメージクエスト・アンサー(I-Q-A)トリプルを使用したデータセットの可用性を前提としている。 人間の注釈付きQ-Aペアを使わずに、画像と関連するテキストキャプションだけでモデルをトレーニングできるかどうかを検討する。
  論文  参考訳（メタデータ） (2020-12-04T01:22:05Z)
• Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering [65.54116210742511]
  ディープニューラルネットワーク(DNN)の急速な発展により、VQA(Visual Question Answering)は大きな成功を収めた。 本稿では,画像と質問を直接操作する代わりに,画像と質問の両方に対して生成した逆例を拡張データとして使用する。 VQAv2の全体的な性能は向上するばかりでなく、敵攻撃に効果的に対応できることがわかりました。
  論文  参考訳（メタデータ） (2020-07-19T05:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。