論文の概要: Sentinel2Cap: A Human-Annotated Benchmark Dataset for Multimodal Remote Sensing Image Captioning

• arxiv url: http://arxiv.org/abs/2605.03189v1
• Date: Mon, 04 May 2026 22:16:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.662858
• Title: Sentinel2Cap: A Human-Annotated Benchmark Dataset for Multimodal Remote Sensing Image Captioning
• Title（参考訳）: Sentinel2Cap:マルチモーダルリモートセンシング画像キャプチャのための人間アノテーション付きベンチマークデータセット
• Authors: Lucrezia Tosato, Gianluca Lombardi, Ronny Hansch,
• Abstract要約: SAR と Sentinel-2 画像パッチを 10 m と 20 m の空間分解能で有する人間アノテーション付きマルチモーダルキャプションデータセット Sentinel2Cap を紹介する。 その結果,RGB画像は高いキャプション性能を達成する一方,SAR画像は視覚言語モデルではより困難であることがわかった。
• 参考スコア（独自算出の注目度）: 1.1342625695057282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image captioning has become an important task in computer vision, enabling models to generate natural language descriptions of visual content. While several datasets exist for natural images and high-resolution optical remote sensing imagery, the availability of captioning datasets for multimodal satellite data remains limited, particularly for SAR imagery and medium-resolution sensors. We introduce Sentinel2Cap, a human-annotated multimodal captioning dataset containing Sentinel-1 SAR and Sentinel-2 multi-spectral image patches at 10 m and 20 m spatial resolution with diverse land cover compositions. Captions are created manually and carefully validated to ensure both semantic accuracy and linguistic quality. To evaluate Sentinel2Cap, we perform a zero-shot captioning using the Qwen3-VL-8B-Instruct model across three image modalities: RGB, multi-spectral, and SAR pseudo-RGB representations. Results show that RGB images achieve the highest captioning performance, while SAR images remain more challenging for vision-language models. Providing modality-specific contextual prompts consistently improves performance across all metrics. These findings highlight both the challenges of multimodal remote sensing image captioning and the potential value of human-annotated datasets for advancing research in cross-modal scene understanding. All the material is publicly avaiable.
• Abstract（参考訳）: 画像キャプションはコンピュータビジョンにおいて重要なタスクとなり、モデルが視覚内容の自然言語記述を生成することができるようになった。 自然画像や高解像度光リモートセンシング画像にはいくつかのデータセットが存在するが、マルチモーダル衛星データにはキャプションデータセットが利用可能であることは、特にSAR画像や中高分解能センサーに限られている。 本研究では,Sentinel-1 SARとSentinel-2を用いたマルチモーダルキャプションデータセットであるSentinel2Capを紹介した。 キャプションは、意味的正確性と言語的品質の両方を保証するために、手動で慎重に検証される。 Sentinel2Capを評価するために、RGB、マルチスペクトル、SAR擬似RGB表現という3つの画像モダリティにわたるQwen3-VL-8B-インストラクトモデルを用いてゼロショットキャプションを行う。 その結果,RGB画像は高いキャプション性能を達成する一方,SAR画像は視覚言語モデルではより困難であることがわかった。 モダリティ固有のコンテキストプロンプトの提供は、すべてのメトリクスのパフォーマンスを継続的に改善します。 これらの知見は、マルチモーダルリモートセンシング画像キャプションの課題と、クロスモーダルシーン理解の研究を進めるための人間の注釈付きデータセットの潜在的な価値の両方を浮き彫りにした。 すべての材料は公然と利用することができる。

関連論文リスト

• Zero-Shot Chinese Character Recognition with Hierarchical Multi-Granularity Image-Text Aligning [52.92837273570818]
  漢字は独特な構造と構成規則を示しており、表現にきめ細かい意味情報を使用することが可能である。 コントラストパラダイムに基づく階層型多言語画像テキストアライニング(Hi-GITA)フレームワークを提案する。 提案したHi-GITAは既存のゼロショットCCR法より優れている。
  論文  参考訳（メタデータ） (2025-05-30T17:39:14Z)
• GAIA: A Global, Multi-modal, Multi-scale Vision-Language Dataset for Remote Sensing Image Analysis [17.83602731408318]
  本稿では,マルチスケール,マルチセンサ,マルチモーダルリモートセンシング(RS)画像解析のための新しいデータセットであるGAIAを紹介する。 GAIAは205,150個の厳密にキュレートされたRS画像テキストペアで構成され、異なる空間解像度に関連付けられたRSの多種多様さを表す。 GAIAは、RS画像分類、クロスモーダル検索、画像キャプションタスクの性能を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-13T18:52:14Z)
• SARChat-Bench-2M: A Multi-Task Vision-Language Benchmark for SAR Image Interpretation [12.32553804641971]
  視覚言語モデル(VLM)は自然言語処理や画像理解において顕著な進歩を遂げている。 本稿では,SARChat-2MというSAR画像のための大規模多モード対話データセットを革新的に提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:19:36Z)
• Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
  本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。 画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。 そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
  論文  参考訳（メタデータ） (2024-12-11T18:37:42Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• Improving Multimodal Datasets with Image Captioning [65.74736570293622]
  生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。 DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
  論文  参考訳（メタデータ） (2023-07-19T17:47:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。