論文の概要: Text-Guided Coarse-to-Fine Fusion Network for Robust Remote Sensing Visual Question Answering

• arxiv url: http://arxiv.org/abs/2411.15770v2
• Date: Mon, 13 Jan 2025 14:00:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:24:58.296156
• Title: Text-Guided Coarse-to-Fine Fusion Network for Robust Remote Sensing Visual Question Answering
• Title（参考訳）: ロバストリモートセンシング視覚質問応答のためのテキストガイド付き粗結合ネットワーク
• Authors: Zhicheng Zhao, Changfu Zhou, Yu Zhang, Chenglong Li, Xiaoliang Ma, Jin Tang,
• Abstract要約: 現在のリモートセンシング視覚質問応答(RSVQA)法は,光学センサの撮像機構によって制限されている。 RSVQAの性能を向上させるために,テキスト誘導型粗結合ネットワーク(TGFNet)を提案する。 我々は、光学SAR RSVQA法を評価するための最初の大規模ベンチマークデータセットを作成する。
• 参考スコア（独自算出の注目度）: 26.8129265632403
• License:
• Abstract: Remote Sensing Visual Question Answering (RSVQA) has gained significant research interest. However, current RSVQA methods are limited by the imaging mechanisms of optical sensors, particularly under challenging conditions such as cloud-covered and low-light scenarios. Given the all-time and all-weather imaging capabilities of Synthetic Aperture Radar (SAR), it is crucial to investigate the integration of optical-SAR images to improve RSVQA performance. In this work, we propose a Text-guided Coarse-to-Fine Fusion Network (TGFNet), which leverages the semantic relationships between question text and multi-source images to guide the network toward complementary fusion at the feature level. Specifically, we develop a Text-guided Coarse-to-Fine Attention Refinement (CFAR) module to focus on key areas related to the question in complex remote sensing images. This module progressively directs attention from broad areas to finer details through key region routing, enhancing the model's ability to focus on relevant regions. Furthermore, we propose an Adaptive Multi-Expert Fusion (AMEF) module that dynamically integrates different experts, enabling the adaptive fusion of optical and SAR features. In addition, we create the first large-scale benchmark dataset for evaluating optical-SAR RSVQA methods, comprising 6,008 well-aligned optical-SAR image pairs and 1,036,694 well-labeled question-answer pairs across 16 diverse question types, including complex relational reasoning questions. Extensive experiments on the proposed dataset demonstrate that our TGFNet effectively integrates complementary information between optical and SAR images, significantly improving the model's performance in challenging scenarios. The dataset is available at: https://github.com/mmic-lcl/. Index Terms: Remote Sensing Visual Question Answering, Multi-source Data Fusion, Multimodal, Remote Sensing, OPT-SAR.
• Abstract（参考訳）: リモートセンシング 視覚質問応答 (RSVQA) は大きな研究関心を集めている。 しかし、現在のRSVQA法は光学センサの撮像機構によって制限されている。 SAR(Synthetic Aperture Radar)のオールタイムおよびオールウェザーイメージング機能を考えると,RSVQA性能を向上させるために光SAR画像の統合を検討することが重要である。 本研究では,質問文と複数ソース画像間の意味的関係を利用して,特徴レベルでの補完的融合に向けてネットワークを誘導するテキスト誘導型粗結合ネットワーク(TGFNet)を提案する。 具体的には、複雑なリモートセンシング画像における問題に関連する重要な領域に焦点を合わせるために、テキスト誘導の粗い注意保持(CFAR)モジュールを開発する。 このモジュールは、キー領域のルーティングを通じて、より細部への注意を徐々に向け、関連する領域にフォーカスするモデルの能力を高める。 さらに,異なる専門家を動的に統合し,光学的特徴とSAR的特徴を適応的に融合させるための,適応型マルチエキスパートフュージョン (AMEF) モジュールを提案する。 さらに,光学SAR RSVQA法を評価するための大規模なベンチマークデータセットを作成し,6,008個の光学SAR画像対と,複雑な関係性推論問題を含む16種類の質問タイプにわたる1,036,694個のラベル付き質問応答対からなる。 提案したデータセットに対する大規模な実験により、我々のTGFNetは光学画像とSAR画像の補完情報を効果的に統合し、挑戦シナリオにおけるモデルの性能を大幅に改善することを示した。 データセットは、https://github.com/mmic-lcl/.com/で入手できる。 Index Terms: Remote Sensing Visual Question Answering, Multi-source Data Fusion, Multimodal, Remote Sensing, OPT-SAR。

関連論文リスト

• DAF-Net: A Dual-Branch Feature Decomposition Fusion Network with Domain Adaptive for Infrared and Visible Image Fusion [21.64382683858586]
  赤外線と可視画像の融合は、両モードの相補的な情報を組み合わせて、より包括的なシーン理解を提供することを目的としている。 最大領域適応型デュアルブランチ機能分解融合ネットワーク(DAF-Net)を提案する。 MK-MMDを導入することで、DAF-Netは可視画像と赤外線画像の潜在特徴空間を効果的に整列し、融合画像の品質を向上させる。
  論文  参考訳（メタデータ） (2024-09-18T02:14:08Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection [59.02821429555375]
  この研究は、野生の隠れた物体の発見と位置決めに焦点をあて、無人のシステムに役立てる。 経験的分析により、赤外線と可視画像融合(IVIF)は、難しい物体の発見を可能にする。 マルチモーダル・サリエント・オブジェクト検出(SOD)は、画像内の物体の正確な空間的位置を正確に記述する。
  論文  参考訳（メタデータ） (2023-05-17T06:48:35Z)
• A lightweight multi-scale context network for salient object detection in optical remote sensing images [16.933770557853077]
  光学RSIにおける有能な物体検出のためのマルチスケールコンテキストネットワークMSCNetを提案する。 具体的には、有能なオブジェクトのスケール変動に対処するために、マルチスケールコンテキスト抽出モジュールを採用する。 複雑な背景の完全正当性オブジェクトを正確に検出するために,注意に基づくピラミッド特徴集約機構を設計する。
  論文  参考訳（メタデータ） (2022-05-18T14:32:47Z)
• Multi-Content Complementation Network for Salient Object Detection in Optical Remote Sensing Images [108.79667788962425]
  光リモートセンシング画像(RSI-SOD)における有能な物体検出は、いまだに課題である。 本稿では, RSI-SOD における複数コンテンツの相補性を検討するために, MCCNet (Multi-Content Complementation Network) を提案する。 MCCMでは、前景機能、エッジ機能、背景機能、グローバル画像レベル機能など、RSI-SODにとって重要な複数の機能について検討する。
  論文  参考訳（メタデータ） (2021-12-02T04:46:40Z)
• RRNet: Relational Reasoning Network with Parallel Multi-scale Attention for Salient Object Detection in Optical Remote Sensing Images [82.1679766706423]
  光リモートセンシング画像(RSI)のためのSODは、光学RSIから視覚的に特徴的な物体や領域を探索・抽出することを目的としている。 光学RSIにおけるSODに並列なマルチスケールアテンションを持つリレーショナル推論ネットワークを提案する。 提案するRRNetは,既存の最先端SODコンペティタよりも質的,定量的に優れている。
  論文  参考訳（メタデータ） (2021-10-27T07:18:32Z)
• The QXS-SAROPT Dataset for Deep Learning in SAR-Optical Data Fusion [14.45289690639374]
  QXS-SAROPTデータセットを公開し、SAR-オプティカルデータ融合におけるディープラーニング研究を促進します。 光学画像からのクロスモーダル情報によって強化されたSAR光画像マッチングとSAR船舶検出の2つの代表的な用途の例を示す。
  論文  参考訳（メタデータ） (2021-03-15T10:22:46Z)
• Deep Burst Super-Resolution [165.90445859851448]
  バースト超解像タスクのための新しいアーキテクチャを提案する。 我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。 実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
  論文  参考訳（メタデータ） (2021-01-26T18:57:21Z)
• Dense Attention Fluid Network for Salient Object Detection in Optical Remote Sensing Images [193.77450545067967]
  光リモートセンシング画像(RSI)における有意物体検出のためのエンド・ツー・エンドDense Attention Fluid Network(DAFNet)を提案する。 GCA(Global Context-Aware Attention)モジュールは、長距離の意味的関係を適応的にキャプチャするために提案される。 我々は、2000枚の画像とピクセルワイドなサリエンシアノテーションを含むSODのための新しい、挑戦的な光学RSIデータセットを構築した。
  論文  参考訳（メタデータ） (2020-11-26T06:14:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。