論文の概要: A Survey on Remote Sensing Foundation Models: From Vision to Multimodality

• arxiv url: http://arxiv.org/abs/2503.22081v1
• Date: Fri, 28 Mar 2025 01:57:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:29:46.211416
• Title: A Survey on Remote Sensing Foundation Models: From Vision to Multimodality
• Title（参考訳）: リモートセンシング基礎モデルに関する調査研究:ビジョンからマルチモーダリティへ
• Authors: Ziyue Huang, Hongxi Yan, Qiqi Zhan, Shuai Yang, Mingming Zhang, Chenkai Zhang, YiMing Lei, Zeming Liu, Qingjie Liu, Yunhong Wang,
• Abstract要約: リモートセンシングのための視覚とマルチモーダル基礎モデルは、インテリジェントな地理空間データ解釈能力を大幅に向上させた。 データタイプの多様性、大規模アノテートデータセットの必要性、マルチモーダル融合技術の複雑さは、これらのモデルの効果的なデプロイに重大な障害をもたらす。 本稿では、リモートセンシングのための最先端のビジョンモデルとマルチモーダル基礎モデルについて、アーキテクチャ、トレーニング方法、データセット、アプリケーションシナリオに焦点をあててレビューする。
• 参考スコア（独自算出の注目度）: 35.532200523631765
• License:
• Abstract: The rapid advancement of remote sensing foundation models, particularly vision and multimodal models, has significantly enhanced the capabilities of intelligent geospatial data interpretation. These models combine various data modalities, such as optical, radar, and LiDAR imagery, with textual and geographic information, enabling more comprehensive analysis and understanding of remote sensing data. The integration of multiple modalities allows for improved performance in tasks like object detection, land cover classification, and change detection, which are often challenged by the complex and heterogeneous nature of remote sensing data. However, despite these advancements, several challenges remain. The diversity in data types, the need for large-scale annotated datasets, and the complexity of multimodal fusion techniques pose significant obstacles to the effective deployment of these models. Moreover, the computational demands of training and fine-tuning multimodal models require significant resources, further complicating their practical application in remote sensing image interpretation tasks. This paper provides a comprehensive review of the state-of-the-art in vision and multimodal foundation models for remote sensing, focusing on their architecture, training methods, datasets and application scenarios. We discuss the key challenges these models face, such as data alignment, cross-modal transfer learning, and scalability, while also identifying emerging research directions aimed at overcoming these limitations. Our goal is to provide a clear understanding of the current landscape of remote sensing foundation models and inspire future research that can push the boundaries of what these models can achieve in real-world applications. The list of resources collected by the paper can be found in the https://github.com/IRIP-BUAA/A-Review-for-remote-sensing-vision-language-models.
• Abstract（参考訳）: リモートセンシング基礎モデルの急速な進歩、特に視覚モデルとマルチモーダルモデルにより、知的地理空間データ解釈の能力は大幅に向上した。 これらのモデルは、光学、レーダー、LiDAR画像などの様々なデータモダリティとテキストおよび地理的情報を組み合わせて、リモートセンシングデータのより包括的な分析と理解を可能にする。 複数のモダリティの統合により、オブジェクト検出、土地被覆分類、変更検出といったタスクのパフォーマンスが向上する。 しかし、これらの進歩にもかかわらず、いくつかの課題が残っている。 データタイプの多様性、大規模アノテートデータセットの必要性、マルチモーダル融合技術の複雑さは、これらのモデルの効果的なデプロイに重大な障害をもたらす。 さらに、トレーニングと微調整マルチモーダルモデルの計算要求には、重要なリソースを必要とし、リモートセンシング画像解釈タスクにおけるそれらの実践的応用をさらに複雑にする。 本稿では、リモートセンシングのための最先端のビジョンモデルとマルチモーダル基礎モデルについて、アーキテクチャ、トレーニング方法、データセット、アプリケーションシナリオに焦点をあてた総合的なレビューを提供する。 データアライメント、クロスモーダルトランスファーラーニング、スケーラビリティなど、これらのモデルが直面する重要な課題について議論するとともに、これらの制限を克服するための新たな研究方向を特定します。 私たちのゴールは、リモートセンシング基盤モデルの現在の状況を明確に理解し、これらのモデルが現実のアプリケーションで達成できることの境界を押し上げる将来の研究を促進することです。 論文によって収集されたリソースのリストは、https://github.com/IRIP-BUAA/A-Review-for-remote-sensing-vision- language-modelsにある。

関連論文リスト

• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [73.49799596304418]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• Survey of Large Multimodal Model Datasets, Application Categories and Taxonomy [2.294223504228228]
  人工知能の急速に発展する分野であるマルチモーダル学習は、より汎用的で堅牢なシステムの構築を目指している。 多くの感覚を通じて情報を同化する人間の能力に触発され、テキストからビデオへの変換、視覚的質問応答、画像キャプションなどの応用が可能となる。 マルチモーダル言語モデル(MLLM)をサポートするデータセットの最近の発展について概説する。
  論文  参考訳（メタデータ） (2024-12-23T18:15:19Z)
• From Pixels to Prose: Advancing Multi-Modal Language Models for Remote Sensing [16.755590790629153]
  本稿では,リモートセンシングにおけるマルチモーダル言語モデル(MLLM)の開発と応用について検討する。 我々は、自然言語を用いて衛星画像の解釈と記述を行う能力に焦点をあてる。 シーン記述、オブジェクト検出、変更検出、テキスト・ツー・イメージ検索、画像・ツー・テキスト生成、視覚的質問応答などの重要な応用について論じる。
  論文  参考訳（メタデータ） (2024-11-05T12:14:22Z)
• Foundation Models for Remote Sensing and Earth Observation: A Survey [101.77425018347557]
  本調査は、リモートセンシング基礎モデル(RSFM)の新しい分野を体系的にレビューする。 モチベーションと背景の概要から始まり、続いて基本概念が導入された。 我々はこれらのモデルを公開データセットと比較し、既存の課題について議論し、今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2024-10-22T01:08:21Z)
• Vision Foundation Models in Remote Sensing: A Survey [6.036426846159163]
  ファンデーションモデルは、前例のない精度と効率で幅広いタスクを実行することができる大規模で事前訓練されたAIモデルである。 本調査は, 遠隔センシングにおける基礎モデルの開発と応用を継続するために, 進展のパノラマと将来性のある経路を提供することによって, 研究者や実践者の資源として機能することを目的としている。
  論文  参考訳（メタデータ） (2024-08-06T22:39:34Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for Classification of Remote Sensing Data [69.37597254841052]
  我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。 X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。 我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
  論文  参考訳（メタデータ） (2020-06-24T15:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。