論文の概要: Multilingual Augmentation for Robust Visual Question Answering in Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2304.03844v1
• Date: Fri, 7 Apr 2023 21:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 19:18:48.244157
• Title: Multilingual Augmentation for Robust Visual Question Answering in Remote Sensing Images
• Title（参考訳）: リモートセンシング画像におけるロバスト視覚質問応答の多言語化
• Authors: Zhenghang Yuan, Lichao Mou, and Xiao Xiang Zhu
• Abstract要約: 多様な質問テンプレートや単語に対して頑健なRSVQAモデルをトレーニングするための対照的な学習戦略を提案する。 実験の結果,提案手法はRSVQAモデルのロバスト性向上に有効であることが示された。
• 参考スコア（独自算出の注目度）: 19.99615698375829
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aiming at answering questions based on the content of remotely sensed images, visual question answering for remote sensing data (RSVQA) has attracted much attention nowadays. However, previous works in RSVQA have focused little on the robustness of RSVQA. As we aim to enhance the reliability of RSVQA models, how to learn robust representations against new words and different question templates with the same meaning is the key challenge. With the proposed augmented dataset, we are able to obtain more questions in addition to the original ones with the same meaning. To make better use of this information, in this study, we propose a contrastive learning strategy for training robust RSVQA models against diverse question templates and words. Experimental results demonstrate that the proposed augmented dataset is effective in improving the robustness of the RSVQA model. In addition, the contrastive learning strategy performs well on the low resolution (LR) dataset.
• Abstract（参考訳）: リモートセンシング画像の内容に基づく質問への回答を目指して,近年,リモートセンシングデータ(rsvqa)に対する視覚的質問応答が注目されている。 しかし、以前のRSVQAの研究はRSVQAの堅牢性にはほとんど焦点を当てていない。 RSVQAモデルの信頼性を高めるために、新しい単語と異なる質問テンプレートに対する堅牢な表現を同じ意味で学習する方法が重要な課題である。 提案した拡張データセットでは、同じ意味を持つオリジナルのデータセットに加えて、より多くの質問が得られます。 そこで本研究では,多様な質問テンプレートや単語に対して,ロバストなRSVQAモデルをトレーニングするための対照的な学習戦略を提案する。 実験の結果,提案手法はRSVQAモデルの堅牢性向上に有効であることが示された。 さらに、対照的な学習戦略は、低解像度(LR)データセット上でうまく機能する。

関連論文リスト

• The curse of language biases in remote sensing VQA: the role of spatial attributes, language diversity, and the need for clear evaluation [32.7348470366509]
  RSVQAの目的は、リモートセンシング画像に関する自然言語で定式化された質問に答えることである。 言語バイアスの問題はしばしばリモートセンシングコミュニティで見過ごされている。 本研究の目的は,RSVQAにおける言語バイアスの問題を3重解析戦略を用いて強調することである。
  論文  参考訳（メタデータ） (2023-11-28T13:45:15Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions [70.70725223310401]
  本研究は,VQAモデルのロバスト性を評価するために,基本質問と呼ばれる意味的関連質問を利用する新しい手法を提案する。 実験により,提案手法はVQAモデルのロバスト性を効果的に解析することを示した。
  論文  参考訳（メタデータ） (2023-04-06T15:32:35Z)
• From Easy to Hard: Learning Language-guided Curriculum for Visual Question Answering on Remote Sensing Data [27.160303686163164]
  リモートセンシングシーンに対する視覚的質問応答(VQA)は、インテリジェントな人-コンピュータインタラクションシステムにおいて大きな可能性を秘めている。 RSVQAデータセットにはオブジェクトアノテーションがないため、モデルが情報的領域表現を活用できない。 RSVQAタスクでは、各画像の難易度が明らかに異なる。 言語誘導の全体的特徴と地域的特徴を共同で抽出する多段階視覚特徴学習法を提案する。
  論文  参考訳（メタデータ） (2022-05-06T11:37:00Z)
• Adversarial VQA: A New Benchmark for Evaluating the Robustness of VQA Models [45.777326168922635]
  本稿では,新たな大規模VQAベンチマークであるAdversarial VQAを紹介する。 非熟練アノテータは比較的容易にSOTA VQAモデルに攻撃できることがわかった。 大規模な事前訓練モデルと敵のトレーニング方法はどちらも、標準的なVQA v2データセットで達成できるものよりもはるかに低いパフォーマンスしか達成できない。
  論文  参考訳（メタデータ） (2021-06-01T05:54:41Z)
• Analysis on Image Set Visual Question Answering [0.3359875577705538]
  マルチイメージ環境での視覚質問応答の課題に対処する。 従来のVQAタスクは、単一のイメージからターゲットの回答が生成される単一イメージ設定に重点を置いている。 本報告では,タスクのパフォーマンス向上を目的とした4つのアプローチについて検討する。
  論文  参考訳（メタデータ） (2021-03-31T20:47:32Z)
• Learning Compositional Representation for Few-shot Visual Question Answering [93.4061107793983]
  現在の視覚的質問応答の方法は、トレーニングデータ量で回答を良好に実行するが、例が少ない新規回答では精度が限られている。 回答から属性を十分なデータで抽出することを提案するが、これは後に数ショットの学習を制限するために構成される。 VQA v2.0検証データセットの実験結果から,提案した属性ネットワークの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-21T10:16:24Z)
• Contrast and Classify: Training Robust VQA Models [60.80627814762071]
  本稿では,クロスエントロピーとコントラスト損失の両方を最適化する新しいトレーニングパラダイム(ConClaT)を提案する。 双方の損失を -- 交互に,あるいは共同で -- 最適化することが,効果的なトレーニングの鍵であることに気付きました。
  論文  参考訳（メタデータ） (2020-10-13T00:23:59Z)
• Structured Multimodal Attentions for TextVQA [57.71060302874151]
  上述の2つの問題を主に解決するために,終端から終端までの構造化マルチモーダルアテンション(SMA)ニューラルネットワークを提案する。 SMAはまず、画像に現れるオブジェクト・オブジェクト・オブジェクト・テキスト・テキストの関係を符号化するために構造グラフ表現を使用し、その後、それを推論するためにマルチモーダルグラフアテンションネットワークを設計する。 提案モデルでは,テキストVQAデータセットとST-VQAデータセットの2つのタスクを事前学習ベースTAP以外のモデルで比較した。
  論文  参考訳（メタデータ） (2020-06-01T07:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。