論文の概要: GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks

• arxiv url: http://arxiv.org/abs/2411.19325v1
• Date: Thu, 28 Nov 2024 18:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:56.264959
• Title: GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks
• Title（参考訳）: GEOBench-VLM:地理空間課題のためのビジョン言語モデルのベンチマーク
• Authors: Muhammad Sohail Danish, Muhammad Akhtar Munir, Syed Roshaan Ali Shah, Kartik Kuckreja, Fahad Shahbaz Khan, Paolo Fraccaro, Alexandre Lacoste, Salman Khan,
• Abstract要約: 本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、視覚条件、オブジェクトタイプ、スケールのさまざまなバリエーションをカバーしています。 地理空間内での精度を評価するために,いくつかの最先端のVLMを評価した。
• 参考スコア（独自算出の注目度）: 84.86699025256705
• License:
• Abstract: While numerous recent benchmarks focus on evaluating generic Vision-Language Models (VLMs), they fall short in addressing the unique demands of geospatial applications. Generic VLM benchmarks are not designed to handle the complexities of geospatial data, which is critical for applications such as environmental monitoring, urban planning, and disaster management. Some of the unique challenges in geospatial domain include temporal analysis for changes, counting objects in large quantities, detecting tiny objects, and understanding relationships between entities occurring in Remote Sensing imagery. To address this gap in the geospatial domain, we present GEOBench-VLM, a comprehensive benchmark specifically designed to evaluate VLMs on geospatial tasks, including scene understanding, object counting, localization, fine-grained categorization, and temporal analysis. Our benchmark features over 10,000 manually verified instructions and covers a diverse set of variations in visual conditions, object type, and scale. We evaluate several state-of-the-art VLMs to assess their accuracy within the geospatial context. The results indicate that although existing VLMs demonstrate potential, they face challenges when dealing with geospatial-specific examples, highlighting the room for further improvements. Specifically, the best-performing GPT4o achieves only 40\% accuracy on MCQs, which is only double the random guess performance. Our benchmark is publicly available at https://github.com/The-AI-Alliance/GEO-Bench-VLM .
• Abstract（参考訳）: 近年のベンチマークでは、一般的なビジョンランゲージモデル(VLM)の評価に焦点が当てられているが、地理空間的アプリケーションのユニークな要求に対処するには不十分である。 ジェネリックVLMベンチマークは地理空間データの複雑さを扱うように設計されていない。 地理空間領域における固有の課題には、変化の時間的分析、大量のオブジェクトのカウント、小さなオブジェクトの検出、リモートセンシング画像に存在するエンティティ間の関係の理解などがある。 地空間領域におけるこのギャップを解決するために,シーン理解,オブジェクトカウント,ローカライゼーション,きめ細かな分類,時間解析など,空間的タスクにおけるVLMを評価するための総合的なベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、視覚条件、オブジェクトタイプ、スケールのさまざまなバリエーションをカバーしています。 地理空間内での精度を評価するために,いくつかの最先端のVLMを評価した。 その結果,既存のVLMは潜在的な可能性を示すが,地理空間特異的な例を扱う際には課題に直面しており,さらなる改善の余地が浮かび上がっていることが示唆された。 具体的には、最適性能のGPT4oは、MCQの40倍の精度しか達成しないが、これはランダムな推測性能の2倍に過ぎない。 私たちのベンチマークはhttps://github.com/The-AI-Alliance/GEO-Bench-VLMで公開されています。

関連論文リスト

• Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet? [25.419763184667985]
  VLM(Vision-Language Model)は、画像ジオローカライゼーションを含むロボットアプリケーションにエキサイティングな機会を提供する。 近年の研究では、VLMをジオローカライゼーションのための埋め込み抽出器として利用することに焦点を当てている。 本稿では,最先端のVLMをスタンドアローン・ゼロショット・ジオローカライズシステムとしての可能性について検討する。
  論文  参考訳（メタデータ） (2025-01-28T13:46:01Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
  大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。 複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。 ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-24T14:47:25Z)
• Swarm Intelligence in Geo-Localization: A Multi-Agent Large Vision-Language Model Collaborative Framework [51.26566634946208]
  smileGeoは、新しい視覚的ジオローカライゼーションフレームワークである。 エージェント間のコミュニケーションによって、SmithGeoはこれらのエージェントの固有の知識と、検索された情報を統合する。 その結果,本手法は現在の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-21T03:31:30Z)
• TorchSpatial: A Location Encoding Framework and Benchmark for Spatial Representation Learning [36.725822223732635]
  位置(ポイント)エンコーディングのための学習フレームワークとベンチマークであるTorchSpatialを提案する。 TorchSpatialには3つの重要なコンポーネントが含まれている: 1) 一般的に認識されている15のロケーションエンコーダを統合する統合されたロケーションエンコーダフレームワーク、2) LocBenchベンチマークタスクは7つのジオアウェアイメージ分類と10のジオアウェアイメージ回帰データセットを含む。
  論文  参考訳（メタデータ） (2024-06-21T21:33:16Z)
• Towards Vision-Language Geo-Foundation Model: A Survey [65.70547895998541]
  Vision-Language Foundation Models (VLFMs) は、様々なマルチモーダルタスクにおいて顕著な進歩を遂げている。 本稿では, VLGFMを網羅的にレビューし, この分野の最近の展開を要約し, 分析する。
  論文  参考訳（メタデータ） (2024-06-13T17:57:30Z)
• Good at captioning, bad at counting: Benchmarking GPT-4V on Earth observation data [7.797577465015058]
  本研究では,地球観測データに有用なツールとして,VLM(Large Vision-Language Models)の進展を評価するためのベンチマークを提案する。 私たちのベンチマークには、都市モニタリング、災害救助、土地利用、保全といったシナリオが含まれています。 私たちのベンチマークはhttps://vleo.danielz.ch/とHugging Face at https://huggingface.co/collections/mit-ei/vleo-benchmark-datasets-65b789b0466555489cce0d70で公開されます。
  論文  参考訳（メタデータ） (2024-01-31T04:57:12Z)
• CurriculumLoc: Enhancing Cross-Domain Geolocalization through Multi-Stage Refinement [11.108860387261508]
  ビジュアルジオローカライゼーションはコスト効率が高くスケーラブルなタスクであり、未知の場所で撮影された1つ以上のクエリイメージとジオタグ付き参照イメージのセットをマッチングする。 我々は,グローバルな意味認識と局所的幾何学的検証を備えたキーポイント検出と記述法であるCurriculumLocを開発した。 我々は、ALTOで62.6%と94.5%の新しいハイリコール@1スコアをそれぞれ2つの異なる距離で達成した。
  論文  参考訳（メタデータ） (2023-11-20T08:40:01Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
  ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。 この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。 我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
  論文  参考訳（メタデータ） (2020-06-12T09:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。