論文の概要: GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks

• arxiv url: http://arxiv.org/abs/2608.07411v1
• Date: Fri, 07 Aug 2026 16:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.569785
• Title: GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks
• Title（参考訳）: GeoBenchLLM:Geo-Related Tasks上でLLMを評価するための総合ベンチマーク
• Abstract要約: 地理関連タスクの大規模言語モデルを探索するためのベンチマークである benchName を提示する。 さまざまな地理的タスクやドメインから利用可能な12のデータセットを慎重に選択する。 以上の結果から,推理とサイズが全体のパフォーマンスに強い影響があることが示唆された。
• 参考スコア（独自算出の注目度）: 1.5249435285717097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of geodata, existing Large Language Models have often been studied in a homogeneous setting, which has considerably limited insights into their generalization capabilities. In this paper, we present \benchName, a comprehensive benchmark for probing LLMs on geo-related tasks. We leverage a careful selection of twelve publicly available datasets from diverse geo-related tasks and domains, and evaluate a set of LLMs on geo-spatial and temporal understanding using our benchmark. Our results show that reasoning and size have a strong impact on overall performance. GeoBenchLLM is publicly available at https://github.com/Rfr2003/GeoBenchLLM.
• Abstract（参考訳）: ジオデータの観点からは、既存の大規模言語モデルはしばしば同質な環境で研究され、その一般化能力に関する洞察は極めて限られている。 本稿では,地理関連タスクのLLMを総合的に探索するベンチマークである \benchName を提案する。 我々は、多様な地理関連タスクやドメインから利用可能な12のデータセットを慎重に選択し、我々のベンチマークを用いて地理空間的および時間的理解に基づくLLMのセットを評価する。 以上の結果から,推理とサイズが全体のパフォーマンスに強い影響があることが示唆された。 GeoBenchLLMはhttps://github.com/Rfr2003/GeoBenchLLMで公開されている。

関連論文リスト

• EVGeoQA: Benchmarking LLMs on Dynamic, Multi-Objective Geo-Spatial Exploration [3.059053384364342]
  EVGeoQAは電気自動車(EV)充電シナリオに基づく新しいベンチマークである。 EVGeoQAの各クエリは、ユーザのリアルタイム座標に明示的に結び付けられ、充電の必要性の2つの目的と、同時に位置付けられたアクティビティの嗜好を統合する。 実験の結果,LLMはサブタスクに対処するためのツールをうまく利用しているが,長距離空間探索に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2026-04-08T13:20:38Z)
• GeoX-Bench: Benchmarking Cross-View Geo-Localization and Pose Estimation Capabilities of Large Multimodal Models [78.98542840563907]
  GeoX-BenchはLMMの機能を調べ評価するために設計された総合的なアンダーラインベンチマークである。 49カ国の128都市にまたがる10,859枚のパノラマ・サテライトイメージペアと、対応する755,976個の質問回答(QA)ペアを含んでいる。 GeoX-Benchに基づいて,25の最先端LMMがクロスビューなジオローカライゼーションおよびポーズ推定タスクに与える影響を評価する。
  論文  参考訳（メタデータ） (2025-11-17T11:19:07Z)
• Coordinates from Context: Using LLMs to Ground Complex Location References [1.016973253129328]
  ジオコーディング(Geocoding)は、位置参照と実際の地理的位置をリンクするタスクである。 比較的小さな微調整 LLM が,市販モデルよりもはるかに大きなモデルで同等の性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-09T18:51:52Z)
• OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
  マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。 地理空間応用に適したMLLM(OmniGeo)を提案する。 自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
  論文  参考訳（メタデータ） (2025-03-20T16:45:48Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
  大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。 複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。 ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-24T14:47:25Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization [105.89544876731942]
  大規模言語モデル(LLM)は自然言語処理の一般分野において大きな成功を収めている。 我々は、地球科学におけるLLM研究をさらに促進するために開発された一連の資源とともに、地球科学における最初のLLMであるK2を提示する。
  論文  参考訳（メタデータ） (2023-06-08T09:29:05Z)
• MGeo: Multi-Modal Geographic Pre-Training Method [49.78466122982627]
  マルチモーダルジオグラフィック言語モデル(MGeo)を提案する。 MGeoはGCを新しいモダリティとして表現し、正確なクエリ-POIマッチングのためのマルチモーダル相関を完全に抽出することができる。 提案するマルチモーダル事前学習法は,汎用PTMのクエリ-POIマッチング能力を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-11T03:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。