論文の概要: RSVQA: Visual Question Answering for Remote Sensing Data

• arxiv url: http://arxiv.org/abs/2003.07333v2
• Date: Thu, 14 May 2020 14:05:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 03:42:24.285127
• Title: RSVQA: Visual Question Answering for Remote Sensing Data
• Title（参考訳）: RSVQA:リモートセンシングデータに対する視覚的質問応答
• Authors: Sylvain Lobry, Diego Marcos, Jesse Murray, Devis Tuia
• Abstract要約: 本稿では,リモートセンシングデータ(RSVQA)における視覚的質問応答の課題を紹介する。 自然言語で定式化された質問を使って画像と対話する。 データセットは(教師付きメソッドを使用して)トレーニングや、RSVQAタスクを解決するためのモデル評価に使用することができる。
• 参考スコア（独自算出の注目度）: 6.473307489370171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces the task of visual question answering for remote sensing data (RSVQA). Remote sensing images contain a wealth of information which can be useful for a wide range of tasks including land cover classification, object counting or detection. However, most of the available methodologies are task-specific, thus inhibiting generic and easy access to the information contained in remote sensing data. As a consequence, accurate remote sensing product generation still requires expert knowledge. With RSVQA, we propose a system to extract information from remote sensing data that is accessible to every user: we use questions formulated in natural language and use them to interact with the images. With the system, images can be queried to obtain high level information specific to the image content or relational dependencies between objects visible in the images. Using an automatic method introduced in this article, we built two datasets (using low and high resolution data) of image/question/answer triplets. The information required to build the questions and answers is queried from OpenStreetMap (OSM). The datasets can be used to train (when using supervised methods) and evaluate models to solve the RSVQA task. We report the results obtained by applying a model based on Convolutional Neural Networks (CNNs) for the visual part and on a Recurrent Neural Network (RNN) for the natural language part to this task. The model is trained on the two datasets, yielding promising results in both cases.
• Abstract（参考訳）: 本稿では,リモートセンシングデータ(RSVQA)に対する視覚的質問応答の課題を紹介する。 リモートセンシング画像には豊富な情報が含まれており、土地被覆分類、オブジェクトのカウント、検出など幅広いタスクに有用である。 しかしながら、利用可能な方法論のほとんどはタスク固有であり、リモートセンシングデータに含まれる情報への汎用的かつ容易なアクセスを阻害する。 その結果、正確なリモートセンシング製品生成には専門家の知識が必要である。 RSVQAでは,すべてのユーザがアクセス可能なリモートセンシングデータから情報を抽出するシステムを提案する。 このシステムでは,画像の内容や画像内のオブジェクト間の関係性に特有の高レベルな情報を得るために,画像のクエリを行うことができる。 本稿では,2つのデータセット(低解像度データと高解像度データ)を自動生成する手法を提案する。 質問と回答を構築するために必要な情報は、OpenStreetMap (OSM)から問い合わせる。 データセットは(教師付きメソッドを使用して)トレーニングや、RSVQAタスクを解決するためのモデル評価に使用することができる。 本稿では,視覚的部分に対する畳み込みニューラルネットワーク(CNN)に基づくモデルと,そのタスクに対する自然言語部分に対するリカレントニューラルネットワーク(RNN)を用いた結果について報告する。 モデルは2つのデータセットでトレーニングされ、両方のケースで有望な結果が得られる。

関連論文リスト

• GeoChat: Grounded Large Vision-Language Model for Remote Sensing [65.78360056991247]
  提案するGeoChatは,高解像度RS画像を用いたマルチタスク対話機能を備えた,世界初の汎用リモートセンシング大型ビジョンランゲージモデル(VLM)である。 具体的には、GeoChatは画像レベルのクエリに応答できるが、リージョン固有の対話を保持するためにリージョン入力を受け付けている。 GeoChatは、画像や領域キャプション、視覚的質問応答、シーン分類、視覚的に接地された会話、参照検出など、様々なRSタスクに対して、堅牢なゼロショット性能を示す。
  論文  参考訳（メタデータ） (2023-11-24T18:59:10Z)
• ViCLEVR: A Visual Reasoning Dataset and Hybrid Multimodal Fusion Model for Visual Question Answering in Vietnamese [1.6340299456362617]
  ベトナムにおける様々な視覚的推論能力を評価するための先駆的な収集であるViCLEVRデータセットを紹介した。 我々は、現代の視覚的推論システムの包括的な分析を行い、その強みと限界についての貴重な洞察を提供する。 PhoVITは、質問に基づいて画像中のオブジェクトを識別する総合的なマルチモーダル融合である。
  論文  参考訳（メタデータ） (2023-10-27T10:44:50Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• Visual Question Answering in Remote Sensing with Cross-Attention and Multimodal Information Bottleneck [14.719648367178259]
  遠隔センシングにおける視覚的質問応答(VQA)の問題に対処する。 リモートセンシングされた画像には、識別や物体検出のタスクに重要な情報が含まれているが、高次元性、体積、冗長性のため、その処理には大きな課題がある。 本稿では,情報とクロスアテンションに基づくアプローチを提案する。CNN-LSTMをベースとしたクロスアテンションは,画像と言語モダリティの情報を強調し,両者の関連性を確立すると同時に,VQAタスクを実行するために必要なすべての関連情報を持つ低次元層を学習する。
  論文  参考訳（メタデータ） (2023-06-25T15:09:21Z)
• AVIS: Autonomous Visual Information Seeking with Large Language Model Agent [123.75169211547149]
  本稿では,視覚的質問応答フレームワークAVISを提案する。 本手法は,LLM(Large Language Model)を利用して外部ツールの利用を動的に強化する。 AVIS は Infoseek や OK-VQA などの知識集約型視覚質問応答ベンチマークの最先端結果を達成する。
  論文  参考訳（メタデータ） (2023-06-13T20:50:22Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• From Easy to Hard: Learning Language-guided Curriculum for Visual Question Answering on Remote Sensing Data [27.160303686163164]
  リモートセンシングシーンに対する視覚的質問応答(VQA)は、インテリジェントな人-コンピュータインタラクションシステムにおいて大きな可能性を秘めている。 RSVQAデータセットにはオブジェクトアノテーションがないため、モデルが情報的領域表現を活用できない。 RSVQAタスクでは、各画像の難易度が明らかに異なる。 言語誘導の全体的特徴と地域的特徴を共同で抽出する多段階視覚特徴学習法を提案する。
  論文  参考訳（メタデータ） (2022-05-06T11:37:00Z)
• How to find a good image-text embedding for remote sensing visual question answering? [41.0510495281302]
  視覚的質問応答(VQA)がリモートセンシングに導入され、オーバーヘッド画像から情報を取り出すことが可能になった。 遠隔センシングにおけるVQAの文脈における3つの異なる融合手法について検討し,モデルの複雑さに関する精度の利得を解析した。
  論文  参考訳（メタデータ） (2021-09-24T09:48:28Z)
• Dynamic Relevance Learning for Few-Shot Object Detection [6.550840743803705]
  動的グラフ畳み込みネットワーク(GCN)を構築するために,すべてのサポート画像とクエリ画像上の関心領域(RoI)の関係を利用した動的関連学習モデルを提案する。 提案モデルでは,より一般化された特徴の学習の有効性を示す総合的な性能が得られた。
  論文  参考訳（メタデータ） (2021-08-04T18:29:42Z)
• Learning Compositional Representation for Few-shot Visual Question Answering [93.4061107793983]
  現在の視覚的質問応答の方法は、トレーニングデータ量で回答を良好に実行するが、例が少ない新規回答では精度が限られている。 回答から属性を十分なデータで抽出することを提案するが、これは後に数ショットの学習を制限するために構成される。 VQA v2.0検証データセットの実験結果から,提案した属性ネットワークの有効性が示された。
  論文  参考訳（メタデータ） (2021-02-21T10:16:24Z)
• Knowledge-Routed Visual Question Reasoning: Challenges for Deep Representation Embedding [140.5911760063681]
  VQAモデル評価のためのナレッジルーティング視覚質問推論という新しいデータセットを提案する。 視覚ゲノムシーングラフと外部知識ベースの両方に基づいて,制御プログラムを用いて質問応答対を生成する。
  論文  参考訳（メタデータ） (2020-12-14T00:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。