論文の概要: RICapBench: A Fine-Grained Visual Understanding Benchmark Dataset for Vision-Language Models in Remote Sensing
- arxiv url: http://arxiv.org/abs/2611.16413v1
- Date: Thu, 12 Nov 2026 07:24:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.387646
- Title: RICapBench: A Fine-Grained Visual Understanding Benchmark Dataset for Vision-Language Models in Remote Sensing
- Title(参考訳): RICapBench: リモートセンシングにおける視覚言語モデルのための細粒度ビジュアル理解ベンチマークデータセット
- Abstract要約: リモートセンシング画像のきめ細かい理解は、視覚言語Mにとって依然として困難である。
既存のデータセットとベンチマークは、エンドツーエンドのインスタンスローカライゼーションとキャプションを不十分に評価する。
15の高度なオープンソースおよびクローズドソースVLMの評価では、インスタンスのローカライゼーションがこれらのモデルのボトルネックとして認識されている。
- 参考スコア(独自算出の注目度): 6.103440183699699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in vision-language models (VLMs) have improved remote sensing image analysis and supported geospatial decision-making. However, fine-grained understanding of remote sensing imagery remains challenging for VLMs. Large variations in object scale, complex geospatial relations among instances, and limited visual detail hinder precise instance localization, visible attribute identification, and spatial relation understanding, potentially leading to descriptions that lack visual grounding. Existing datasets and benchmarks insufficiently assess end-to-end instance localization and captioning without target-specific textual cues. To support this evaluation, we introduce RICapBench, a dataset and benchmark that unifies instance localization and fine-grained captioning in remote sensing. RICapBench contains 245,466 instance-level annotations and 498,005 spatial relation tuples spanning general remote sensing, UAV remote sensing, and dense small-object scenarios. Each annotation pairs an object's oriented bounding box with a natural language description of its visible attributes and spatial relations to surrounding instances and environmental elements. To evaluate the accuracy and completeness of spatial relation captioning, we propose a remote sensing spatial relation parser and the RelCap-F1 metric. We combine RelCap-F1 with instance localization and attribute captioning metrics into a composite metric, RICScore. Our evaluation of 15 advanced open-source and closed-source VLMs identifies instance localization as a major bottleneck for these models. LocateAnything achieves the highest RICScore of 31.68, but scores lower on spatial relation captioning than other task-fine-tuned open-source VLMs. Code and dataset are available at https://github.com/Xldln/RICapBench.
- Abstract(参考訳): 視覚言語モデル(VLM)の進歩は、リモートセンシング画像解析を改善し、地理空間的意思決定をサポートする。
しかし、リモートセンシング画像のきめ細かい理解は、VLMにとって依然として困難である。
オブジェクトスケールの大きなバリエーション、インスタンス間の複雑な地理空間的関係、限られた視覚的詳細は、正確なインスタンスのローカライゼーション、可視的属性の識別、空間的関係の理解を妨げ、視覚的基盤を持たない記述につながる可能性がある。
既存のデータセットとベンチマークは、ターゲット固有のテキストキューを使わずに、エンドツーエンドのインスタンスローカライゼーションとキャプションを十分に評価する。
この評価を支援するために、リモートセンシングにおいてインスタンスのローカライゼーションと詳細なキャプションを統一するデータセットとベンチマークであるRICapBenchを導入する。
RICapBenchには245,466のインスタンスレベルのアノテーションと498,005の空間的関係タプルが含まれている。
各アノテーションは、オブジェクトの向き付けられたバウンディングボックスと、その目に見える属性と周囲のインスタンスや環境要素との空間的関係を自然言語で記述する。
空間関係キャプションの精度と完全性を評価するために,リモートセンシング空間関係解析器とRelCap-F1メトリックを提案する。
RelCap-F1とインスタンスのローカライゼーションと属性キャプションのメトリクスを組み合わせて、複合メトリックであるRICScoreを作ります。
15の高度なオープンソースおよびクローズドソースVLMの評価では、インスタンスのローカライゼーションがこれらのモデルのボトルネックとして認識されている。
LocateAnything は 31.68 の RICScore を達成しているが、他のタスクを調整したオープンソース VLM よりも空間的関係のキャプションが低い。
コードとデータセットはhttps://github.com/Xldln/RICapBench.comで入手できる。
関連論文リスト
- EmbodimentSemantic: A Spatial Scene-Graph Dataset and Benchmark for Vision-Language Models on Embodied Manipulation Trajectories [16.996900088118412]
エボディメント・セマンティック(EmbodimentSemantic)は、空間的シーングラフのデータセットと、エンボディード操作における関係グラウンドの評価のためのベンチマークである。
データセットには、低コストのSO101ロボットアームで収集された現実世界の操作観察が含まれている。
また,60K以上の操作フレームと120K以上のカメラ固有のシーングラフを3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人称3人
論文 参考訳(メタデータ) (2026-06-06T18:58:54Z) - DescribeEarth: Describe Anything for Remote Sensing Images [56.04533626223295]
リモートセンシングのためのオブジェクトレベルのきめ細かい画像キャプションのための新しいタスクであるGeo-DLCを提案する。
このタスクを支援するために,オブジェクト属性,関係,コンテキストを詳細に記述した大規模データセットであるDE-Datasetを構築した。
また,Geo-DLC用に設計されたマルチモーダル大規模言語モデルアーキテクチャであるDescribeEarthを提案する。
論文 参考訳(メタデータ) (2025-09-30T01:53:34Z) - SCORE: Scene Context Matters in Open-Vocabulary Remote Sensing Instance Segmentation [21.428492178304392]
リモートセンシングインスタンスセグメンテーションのためのオープン語彙学習を導入する。
我々は、$textbfS$cene $textbfC$ontext matters in $textbfO$pen-vocabulary $textbfRE$mote インスタンスセグメンテーションを提案する。
提案手法は,大規模かつ現実的な地理空間解析のためのロバストなソリューションであるSOTA性能を実現する。
論文 参考訳(メタデータ) (2025-07-17T07:27:00Z) - Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。
画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。
そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
論文 参考訳(メタデータ) (2024-12-11T18:37:42Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳(メタデータ) (2024-11-28T18:59:56Z) - Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。
この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
論文 参考訳(メタデータ) (2024-11-20T13:34:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。