論文の概要: Remote Sensing Temporal Vision-Language Models: A Comprehensive Survey

• arxiv url: http://arxiv.org/abs/2412.02573v1
• Date: Tue, 03 Dec 2024 16:56:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:17.419991
• Title: Remote Sensing Temporal Vision-Language Models: A Comprehensive Survey
• Title（参考訳）: リモートセンシングによる時間視-言語モデル:総合的調査
• Authors: Chenyang Liu, Jiafan Zhang, Keyan Chen, Man Wang, Zhengxia Zou, Zhenwei Shi,
• Abstract要約: リモートセンシングにおける時間的画像解析は、伝統的に、異なるタイミングで撮影された画像間の変化領域を識別する変更検出に重点を置いている。 VLM(Vision-Language Models)の台頭は、視覚情報と自然言語を統合することで、リモートセンシングの時間画像解析に新たな次元を導入している。 本稿では, RSTVLM研究の進展を概観し, 時間画像解析における最新のVLM応用に焦点をあてる。
• 参考スコア（独自算出の注目度）: 23.514029232902953
• License:
• Abstract: Temporal image analysis in remote sensing has traditionally centered on change detection, which identifies regions of change between images captured at different times. However, change detection remains limited by its focus on visual-level interpretation, often lacking contextual or descriptive information. The rise of Vision-Language Models (VLMs) has introduced a new dimension to remote sensing temporal image analysis by integrating visual information with natural language, creating an avenue for advanced interpretation of temporal image changes. Remote Sensing Temporal VLMs (RSTVLMs) allow for dynamic interactions, generating descriptive captions, answering questions, and providing a richer semantic understanding of temporal images. This temporal vision-language capability is particularly valuable for complex remote sensing applications, where higher-level insights are crucial. This paper comprehensively reviews the progress of RSTVLM research, with a focus on the latest VLM applications for temporal image analysis. We categorize and discuss core methodologies, datasets, and metrics, highlight recent advances in temporal vision-language tasks, and outline key challenges and future directions for research in this emerging field. This survey fills a critical gap in the literature by providing an integrated overview of RSTVLM, offering a foundation for further advancements in remote sensing temporal image understanding. We will keep tracing related works at \url{https://github.com/Chen-Yang-Liu/Awesome-RS-Temporal-VLM}
• Abstract（参考訳）: リモートセンシングにおける時間的画像解析は、伝統的に、異なるタイミングで撮影された画像間の変化領域を識別する変更検出に重点を置いている。 しかし、変化検出は、視覚レベルの解釈に焦点をあてることによって制限され、しばしば文脈情報や記述情報が欠如している。 VLM(Vision-Language Models)の台頭は、視覚情報と自然言語を統合することで、時間的画像変化の高度な解釈のための道を開くことで、リモートセンシングの時間的画像解析に新たな次元を導入している。 リモートセンシング・テンポラルVLM(RSTVLM)は動的相互作用を可能にし、説明的なキャプションを生成し、質問に答え、時間的イメージのより豊かな意味的理解を提供する。 この時間的視覚言語機能は、高レベルの洞察が不可欠である複雑なリモートセンシングアプリケーションに特に有用である。 本稿では, RSTVLM研究の進展を概観し, 時間画像解析における最新のVLM応用に焦点をあてる。 我々は、コア方法論、データセット、メトリクスを分類し、議論し、時間的視覚言語タスクの最近の進歩を強調し、この新興分野の研究における重要な課題と今後の方向性を概説する。 本調査は,RSTVLMの総合的な概要を提供し,リモートセンシング時空間画像理解のさらなる進歩のための基盤を提供することにより,文献の重大なギャップを埋めるものである。 関連作業の追跡は, \url{https://github.com/Chen-Yang-Liu/Awesome-RS-Temporal-VLM} で継続する。

関連論文リスト

• Building a Mind Palace: Structuring Environment-Grounded Semantic Graphs for Effective Long Video Analysis with LLMs [66.57518905079262]
  VideoMindは、重要なビデオモーメントを、アロジカルに構造化されたセマンティックグラフに整理する。 ミンドパレス」は、(i)手動追跡、(ii)繰り返し活動の特定領域を表すクラスタ化されたゾーン活動、(iii)環境レイアウトマッピングを通じて重要な情報を整理する。
  論文  参考訳（メタデータ） (2025-01-08T08:15:29Z)
• UniRS: Unifying Multi-temporal Remote Sensing Tasks through Vision Language Models [23.044366104080822]
  textbfUniRSは視覚言語モデルとして最初のbftextremote bftextsensingタスクである。 UniRSはシングルイメージ、デュアルタイムイメージペア、ビデオを入力としてサポートし、総合的なリモートセンシング時間分析を可能にする。 実験の結果、UniRSは様々なタスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2024-12-30T06:34:18Z)
• Temporal Contrastive Learning for Video Temporal Reasoning in Large Vision-Language Models [44.99833362998488]
  TSADP(Temporal Semantic Alignment via Dynamic Prompting)は、時間的推論能力を高める新しいフレームワークである。 VidSitu データセット上での TSADP の評価を行った。 我々の分析は、TSADPの堅牢性、効率性、実用性を強調し、ビデオ言語理解の分野における一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-12-16T02:37:58Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• From Pixels to Prose: Advancing Multi-Modal Language Models for Remote Sensing [16.755590790629153]
  本稿では,リモートセンシングにおけるマルチモーダル言語モデル(MLLM)の開発と応用について検討する。 我々は、自然言語を用いて衛星画像の解釈と記述を行う能力に焦点をあてる。 シーン記述、オブジェクト検出、変更検出、テキスト・ツー・イメージ検索、画像・ツー・テキスト生成、視覚的質問応答などの重要な応用について論じる。
  論文  参考訳（メタデータ） (2024-11-05T12:14:22Z)
• Losing Visual Needles in Image Haystacks: Vision Language Models are Easily Distracted in Short and Long Contexts [65.04791072532106]
  視覚言語モデル(VLM)における長文抽出推論評価のためのベンチマークジェネレータであるLoCoVQAを提案する。 LoCoVQAは、数学的推論、VQA、そしてより長い視覚的コンテキストを持つ文字認識タスクのテスト例を拡張している。 このテストは、VLMがクエリに応答する際の無関係な情報をどの程度無視できるかを評価する。
  論文  参考訳（メタデータ） (2024-06-24T17:58:03Z)
• PIR: Remote Sensing Image-Text Retrieval with Prior Instruction Representation Learning [21.907749083387042]
  本稿では,視覚とテキスト表現の適応学習を指導するために,事前知識に基づく事前指示表現(PIR)学習パラダイムを提案する。 包括的実験により、PIRは視覚とテキスト表現を強化し、クローズドドメインとオープンドメイン検索の最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-16T14:53:45Z)
• Zero-Shot Video Moment Retrieval from Frozen Vision-Language Models [58.17315970207874]
  モーメント・テキストアライメントを容易にするため、任意のVLMから一般化可能なビジュアル・テクスチャの事前適応のためのゼロショット手法を提案する。 3つのVMRベンチマークデータセットで実施された実験は、ゼロショットアルゴリズムの顕著なパフォーマンス上の利点を示している。
  論文  参考訳（メタデータ） (2023-09-01T13:06:50Z)
• The Potential of Visual ChatGPT For Remote Sensing [0.0]
  本稿では、リモートセンシング領域に関連する画像処理の側面に取り組むために、Visual ChatGPTの可能性を考察する。 テキスト入力に基づく画像の処理能力は、様々な分野に革命をもたらす可能性がある。 LLMと視覚モデルの組み合わせは、まだ初期の段階ではあるが、リモートセンシング画像処理を変換する大きな可能性を秘めていると信じている。
  論文  参考訳（メタデータ） (2023-04-25T17:29:47Z)
• Towards Generalisable Video Moment Retrieval: Visual-Dynamic Injection to Image-Text Pre-Training [70.83385449872495]
  映像モーメント検索(VMR)における視覚とテキストの相関 既存の方法は、視覚的およびテキスト的理解のために、個別の事前学習機能抽出器に依存している。 本稿では,映像モーメントの理解を促進するために,ビジュアルダイナミックインジェクション(Visual-Dynamic Injection, VDI)と呼ばれる汎用手法を提案する。
  論文  参考訳（メタデータ） (2023-02-28T19:29:05Z)
• The Elements of Temporal Sentence Grounding in Videos: A Survey and Future Directions [60.54191298092136]
  ビデオの時間文グラウンド(TSGV)は、意味不明のビデオから言語クエリに対応する時間モーメントを検索することを目的としている。 本調査では,TSGVの基本概念と今後の研究方向性について概説する。
  論文  参考訳（メタデータ） (2022-01-20T09:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。