論文の概要: Remote Sensing Spatio-Temporal Vision-Language Models: A Comprehensive Survey
- arxiv url: http://arxiv.org/abs/2412.02573v2
- Date: Thu, 22 May 2025 16:49:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.690847
- Title: Remote Sensing Spatio-Temporal Vision-Language Models: A Comprehensive Survey
- Title（参考訳）: リモートセンシング時空間ビジョンランゲージモデル:総合的調査
- Authors: Chenyang Liu, Jiafan Zhang, Keyan Chen, Man Wang, Zhengxia Zou, Zhenwei Shi,
- Abstract要約: 本稿では,RS-STVLMの総合的なレビューを行う。
本稿では, 変更キャプション, 変更質問, 回答キャプション, 変更グラウンドなど, 代表課題の進捗状況について論じる。
遠隔センシングのための視覚言語理解における現在の成果と将来的な研究の方向性を照らすことを目的としている。
- 参考スコア（独自算出の注目度）: 23.514029232902953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interpretation of multi-temporal remote sensing imagery is critical for monitoring Earth's dynamic processes-yet previous change detection methods, which produce binary or semantic masks, fall short of providing human-readable insights into changes. Recent advances in Vision-Language Models (VLMs) have opened a new frontier by fusing visual and linguistic modalities, enabling spatio-temporal vision-language understanding: models that not only capture spatial and temporal dependencies to recognize changes but also provide a richer interactive semantic analysis of temporal images (e.g., generate descriptive captions and answer natural-language queries). In this survey, we present the first comprehensive review of RS-STVLMs. The survey covers the evolution of models from early task-specific models to recent general foundation models that leverage powerful large language models. We discuss progress in representative tasks, such as change captioning, change question answering, and change grounding. Moreover, we systematically dissect the fundamental components and key technologies underlying these models, and review the datasets and evaluation metrics that have driven the field. By synthesizing task-level insights with a deep dive into shared architectural patterns, we aim to illuminate current achievements and chart promising directions for future research in spatio-temporal vision-language understanding for remote sensing. We will keep tracing related works at https://github.com/Chen-Yang-Liu/Awesome-RS-SpatioTemporal-VLMs
- Abstract（参考訳）: 多時間リモートセンシング画像の解釈は、地球のダイナミックなプロセスを監視するために重要である。
視覚・言語モデル(VLM)の最近の進歩は、空間的・時間的依存を捉えて変化を認識するだけでなく、時間的イメージのよりリッチなインタラクティブな意味分析(例えば、記述的なキャプションを生成し、自然言語クエリに応答する)を提供する、空間的・時間的視覚言語理解を可能にすることによって、新たなフロンティアを開拓した。
本調査では,RS-STVLMの総合的なレビューを行う。
この調査は、初期のタスク特化モデルから、強力な大規模言語モデルを利用する最近の一般的な基礎モデルまで、モデルの進化をカバーしている。
本稿では, 変化キャプション, 質問応答, 変化グラウンドなど, 代表課題の進展について論じる。
さらに、これらのモデルの基礎となる基本的なコンポーネントと重要な技術を体系的に分析し、フィールドを駆動するデータセットと評価指標をレビューする。
共有アーキテクチャパターンを深く掘り下げてタスクレベルの洞察を合成することにより、リモートセンシングのための時空間視覚言語理解における将来の研究に向けた現在の成果と有望な方向性を図示することを目指している。
我々は、https://github.com/Chen-Yang-Liu/Awesome-RS-SpatioTemporal-VLMsで関連する作品をトレースし続ける。
関連論文リスト
- Building a Mind Palace: Structuring Environment-Grounded Semantic Graphs for Effective Long Video Analysis with LLMs [66.57518905079262]
VideoMindは、重要なビデオモーメントを、アロジカルに構造化されたセマンティックグラフに整理する。
ミンドパレス」は、(i)手動追跡、(ii)繰り返し活動の特定領域を表すクラスタ化されたゾーン活動、(iii)環境レイアウトマッピングを通じて重要な情報を整理する。
論文 参考訳（メタデータ） (2025-01-08T08:15:29Z) - UniRS: Unifying Multi-temporal Remote Sensing Tasks through Vision Language Models [23.044366104080822]
textbfUniRSは視覚言語モデルとして最初のbftextremote bftextsensingタスクである。
UniRSはシングルイメージ、デュアルタイムイメージペア、ビデオを入力としてサポートし、総合的なリモートセンシング時間分析を可能にする。
実験の結果、UniRSは様々なタスクで最先端のパフォーマンスを実現していることがわかった。
論文 参考訳（メタデータ） (2024-12-30T06:34:18Z) - Temporal Contrastive Learning for Video Temporal Reasoning in Large Vision-Language Models [44.99833362998488]
TSADP(Temporal Semantic Alignment via Dynamic Prompting)は、時間的推論能力を高める新しいフレームワークである。
VidSitu データセット上での TSADP の評価を行った。
我々の分析は、TSADPの堅牢性、効率性、実用性を強調し、ビデオ言語理解の分野における一歩を踏み出した。
論文 参考訳（メタデータ） (2024-12-16T02:37:58Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳（メタデータ） (2024-11-20T13:34:22Z) - From Pixels to Prose: Advancing Multi-Modal Language Models for Remote Sensing [16.755590790629153]
本稿では,リモートセンシングにおけるマルチモーダル言語モデル(MLLM)の開発と応用について検討する。
我々は、自然言語を用いて衛星画像の解釈と記述を行う能力に焦点をあてる。
シーン記述、オブジェクト検出、変更検出、テキスト・ツー・イメージ検索、画像・ツー・テキスト生成、視覚的質問応答などの重要な応用について論じる。
論文 参考訳（メタデータ） (2024-11-05T12:14:22Z) - Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。
LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。
このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
論文 参考訳（メタデータ） (2024-06-24T17:58:03Z) - PIR: Remote Sensing Image-Text Retrieval with Prior Instruction Representation Learning [21.907749083387042]
本稿では,視覚とテキスト表現の適応学習を指導するために,事前知識に基づく事前指示表現(PIR)学習パラダイムを提案する。
包括的実験により、PIRは視覚とテキスト表現を強化し、クローズドドメインとオープンドメイン検索の最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-05-16T14:53:45Z) - Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。
3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
論文 参考訳（メタデータ） (2023-09-01T13:06:50Z) - Vision-Language Models in Remote Sensing: Current Progress and Future Trends [25.017685538386548]
視覚言語モデルは、画像とその関連するテキスト記述の推論を可能にし、基礎となるセマンティクスのより深い理解を可能にする。
視覚言語モデルは、RS画像の視覚的認識を超えて、意味的関係をモデル化し、画像の自然言語記述を生成することができる。
本稿では,リモートセンシングにおける視覚言語モデルの研究を包括的にレビューする。
論文 参考訳（メタデータ） (2023-05-09T19:17:07Z) - The Potential of Visual ChatGPT For Remote Sensing [0.0]
本稿では、リモートセンシング領域に関連する画像処理の側面に取り組むために、Visual ChatGPTの可能性を考察する。
テキスト入力に基づく画像の処理能力は、様々な分野に革命をもたらす可能性がある。
LLMと視覚モデルの組み合わせは、まだ初期の段階ではあるが、リモートセンシング画像処理を変換する大きな可能性を秘めていると信じている。
論文 参考訳（メタデータ） (2023-04-25T17:29:47Z) - Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection
to Image-Text Pre-Training [70.83385449872495]
映像モーメント検索(VMR)における視覚とテキストの相関
既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。
本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
論文 参考訳（メタデータ） (2023-02-28T19:29:05Z) - The Elements of Temporal Sentence Grounding in Videos: A Survey and
Future Directions [60.54191298092136]
ビデオの時間文グラウンド(TSGV)は、意味不明のビデオから言語クエリに対応する時間モーメントを検索することを目的としている。
本調査では,TSGVの基本概念と今後の研究方向性について概説する。
論文 参考訳（メタデータ） (2022-01-20T09:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。