論文の概要: GeoRSMLLM: A Multimodal Large Language Model for Vision-Language Tasks in Geoscience and Remote Sensing

• arxiv url: http://arxiv.org/abs/2503.12490v1
• Date: Sun, 16 Mar 2025 12:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:09.046321
• Title: GeoRSMLLM: A Multimodal Large Language Model for Vision-Language Tasks in Geoscience and Remote Sensing
• Title（参考訳）: GeoRSMLLM:地球科学とリモートセンシングにおける視覚言語タスクのためのマルチモーダル大言語モデル
• Authors: Zilun Zhang, Haozhan Shen, Tiancheng Zhao, Bin Chen, Zian Guan, Yuhao Wang, Xu Jia, Yuxiang Cai, Yongheng Shang, Jianwei Yin,
• Abstract要約: リモートセンシングにおける視覚言語モデル(VLM)は、従来のタスクにおいて大きな可能性を示している。 Referring Expression (REC) に長けている現在のモデルは、複雑な命令を含むタスクに苦労している。 本稿では、オープン語彙タスク(OVT)、表現タスク(RET)、記述対象タスク(DOT)を含むリモートセンシングビジョンランゲージタスクセット(RSVLTS)を紹介する。 本稿では, RSVLTS のセット・オブ・ポイント・アプローチと, 循環参照に基づく条件と自己拡張戦略を用いた新しい統一データ表現を提案する。
• 参考スコア（独自算出の注目度）: 33.19843463374473
• License:
• Abstract: The application of Vision-Language Models (VLMs) in remote sensing (RS) has demonstrated significant potential in traditional tasks such as scene classification, object detection, and image captioning. However, current models, which excel in Referring Expression Comprehension (REC), struggle with tasks involving complex instructions (e.g., exists multiple conditions) or pixel-level operations like segmentation and change detection. In this white paper, we provide a comprehensive hierarchical summary of vision-language tasks in RS, categorized by the varying levels of cognitive capability required. We introduce the Remote Sensing Vision-Language Task Set (RSVLTS), which includes Open-Vocabulary Tasks (OVT), Referring Expression Tasks (RET), and Described Object Tasks (DOT) with increased difficulty, and Visual Question Answering (VQA) aloneside. Moreover, we propose a novel unified data representation using a set-of-points approach for RSVLTS, along with a condition parser and a self-augmentation strategy based on cyclic referring. These features are integrated into the GeoRSMLLM model, and this enhanced model is designed to handle a broad range of tasks of RSVLTS, paving the way for a more generalized solution for vision-language tasks in geoscience and remote sensing.
• Abstract（参考訳）: リモートセンシング(RS)における視覚言語モデル(VLM)の適用は、シーン分類、オブジェクト検出、画像キャプションといった従来のタスクにおいて大きな可能性を示している。 しかし、Referring Expression Comprehension (REC) で優れている現在のモデルでは、複雑な命令(例えば、複数の条件が存在する)や、セグメンテーションや変更検出といったピクセルレベルの操作に関わるタスクに苦労している。 本稿では,RSにおける視覚言語タスクの包括的階層的概要を,必要な認知能力のレベルによって分類する。 本稿では、オープン語彙タスク(OVT)、表現タスク(RET)、記述オブジェクトタスク(DOT)の難易度を高めたリモートセンシングビジョンランゲージタスクセット(RSVLTS)、視覚質問応答(VQA)を単独で導入する。 さらに, RSVLTS に対するset-of-points アプローチと条件解析, 循環参照に基づく自己拡張戦略を用いた新しい統一データ表現を提案する。 これらの機能はGeoRSMLLMモデルに統合され、この拡張モデルはRSVLTSの幅広いタスクを扱うように設計されており、ジオサイエンスとリモートセンシングにおける視覚言語タスクのためのより一般化されたソリューションの道を開いた。

関連論文リスト

• Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
  MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
  論文  参考訳（メタデータ） (2024-12-30T13:16:08Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Griffon-G: Bridging Vision-Language and Vision-Centric Tasks via Large Multimodal Models [27.45225442048711]
  CCMD-8Mを導入し、視覚中心のタスクと視覚言語タスクを統一する際のデータ障壁を克服する。 また、Griffon-Gは、単一のエンドツーエンドパラダイム内の視覚中心タスクと視覚言語タスクの両方に対処する一般的な大規模マルチモーダルモデルである。
  論文  参考訳（メタデータ） (2024-10-21T16:30:29Z)
• From Goal-Conditioned to Language-Conditioned Agents via Vision-Language Models [7.704773649029078]
  視覚言語モデル(VLM)は、基底言語に非常に大きな可能性を秘めている。 本稿では,言語条件付きエージェント(LCA)構築問題の新しい分解法を提案する。 また,VLMを用いたLCAの高速化と品質向上についても検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:24:07Z)
• RS-GPT4V: A Unified Multimodal Instruction-Following Dataset for Remote Sensing Image Understanding [4.266920365127677]
  新しいLaGDパラダイムの下では、古いデータセットはもはや新しいタスクには適していない。 我々は、RSI理解のための高品質で多様なマルチモーダル命令追従データセットを設計した。 実験結果から, RS-GPT4Vによる微調整MLLMは, きめ細かい情報を記述できることがわかった。
  論文  参考訳（メタデータ） (2024-06-18T10:34:28Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• GRILL: Grounded Vision-language Pre-training via Aligning Text and Image Regions [92.96783800362886]
  未知のタスクへの一般化は、少数の学習者が多様なタスクにおいてより優れたゼロ/フェーショットのパフォーマンスを達成できる重要な能力である。 GRILLは視覚的質問応答やキャプション,接地タスクなどの多様なタスクに,ほとんど,あるいはごく少数のトレーニングインスタンスで一般化可能な,新しいVLモデルである。
  論文  参考訳（メタデータ） (2023-05-24T03:33:21Z)
• GLIPv2: Unifying Localization and Vision-Language Understanding [161.1770269829139]
  本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-06-12T20:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。