論文の概要: MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning
- arxiv url: http://arxiv.org/abs/2608.03882v1
- Date: Tue, 04 Aug 2026 16:18:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.27938
- Title: MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning
- Title（参考訳）: MultiGlobeQA:地理空間推論のための多言語・グローバル多言語ベンチマーク
- Abstract要約: MultiGlobeQAは、14の空間関数族と15の応答形式にまたがる46,060の質問応答対のベンチマークである。
201の国と地域を、収入層と密度層によるサンプリングでカバーし、英語と16の高低リソース言語で並列的な質問を行っている。
LLMはグリッドインデックスと形状計算を必要とするタスクで崩壊し、トポロジカルな関係と方向が最良である。
- 参考スコア（独自算出の注目度）: 4.190986775457158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geospatial reasoning, i.e., computing distances, containment, and other spatial relations over real-world entities, is central to navigation and logistics, yet large language models (LLMs) struggle with the required geometric and topological computation despite storing considerable geographic knowledge. Existing benchmarks localize these failures only partially: they are synthetic or smallscale, largely monolingual, and offer limited control over geographic coverage. We introduce MultiGlobeQA, a multilingual benchmark of 46,060 question-answer pairs spanning 14 spatial-function families and 15 answer formats, with execution-based ground truth over three knowledge graphs. It covers 201 countries and territories via income- and density-stratified sampling, with parallel questions in English and 16 additional high- and low-resource languages. Across parametric, reasoning, and agentic settings, LLMs collapse on tasks requiring grid indexing and shape computation, while topological relations and directions fare best. Retrieval and tool use yield considerable gains, yet performance plateaus below two thirds even when gold facts are supplied, indicating that computation, not access to knowledge, is the bottleneck. Models also underperform on low-income regions, a gap that gold facts widen rather than close.
- Abstract（参考訳）: 地理空間的推論(Geospatial reasoning、すなわち計算距離、封じ込め、および現実世界の実体に対する空間的関係)はナビゲーションやロジスティクスの中心であるが、大きな言語モデル(LLM)は、相当な地理的知識を記憶しているにもかかわらず、必要となる幾何学的および位相的計算に苦しむ。
既存のベンチマークでは、これらの障害を部分的にのみローカライズしている。
我々は,14の空間関数族と15の回答形式にまたがる46,060の質問応答対の多言語ベンチマークであるMultiGlobeQAを紹介する。
201の国と地域を、所得層と密度層によるサンプリングでカバーし、英語と16の高低リソース言語で並列的な質問を行っている。
パラメトリック、推論、エージェント設定全体にわたって、LLMはグリッドインデックスと形状計算を必要とするタスクで崩壊し、トポロジカルな関係と方向が最善である。
検索とツールの使用でかなりの利益を得るが、金の事実が供給されたとしても性能は2/3以下であり、知識にアクセスできない計算がボトルネックであることを示している。
モデルは低所得地域でもパフォーマンスが劣るが、これは金の事実が近いというよりも広がるギャップだ。
関連論文リスト
- GPSBench: Do Large Language Models Understand GPS Coordinates? [31.228269455751363]
大きな言語モデル(LLM)は、ナビゲーション、ロボット工学、マッピングといった物理的な世界と相互作用するアプリケーションにますます多くデプロイされている。
それにもかかわらず、LLMがGPS座標と現実世界の地理を推論する能力はいまだに未調査である。
我々は,LLMにおける地理空間的推論を評価するために,17タスクにわたる57,800個のサンプルのデータセットであるGPSBenchを紹介する。
論文 参考訳（メタデータ） (2026-02-18T00:33:26Z) - GeoFocus: Blending Efficient Global-to-Local Perception for Multimodal Geometry Problem-Solving [55.14836667214487]
GeoFocusは、2つのコアモジュールからなる新しいフレームワークである。
GeoFocusは、主要な特殊モデルよりも4.7%の精度向上を実現している。
多様な視覚条件下でのMATHVERSEの強靭性を示す。
論文 参考訳（メタデータ） (2026-02-09T11:15:01Z) - Around the World in 24 Hours: Probing LLM Knowledge of Time and Place [18.17538075862074]
本稿では,言語モデルが時間と空間とともに共同で推論できる能力について,初めて評価する。
時間的および地理的知識の異なる組み合わせに対して、3つの異なるモデルファミリーの8つのオープンチャットモデルを評価する。
特定の地理的領域と性能の明確な相関関係は見つからない。
論文 参考訳（メタデータ） (2025-06-04T14:14:28Z) - GRE Suite: Geo-localization Inference via Fine-Tuned Vision-Language Models and Enhanced Reasoning Chains [20.788130896943663]
Geo Reason Enhancement (GRE) Suiteは、解釈可能な位置推論のための構造化推論チェーンを備えたビジュアル言語モデルを拡張する新しいフレームワークである。
まず、GRE30Kという、きめ細かい視覚的・文脈的分析を容易にするために設計された高品質なジオローカライゼーション推論データセットを紹介する。
次に,シーン属性,局所的詳細,意味的特徴を段階的に推測する多段階推論手法を用いて,GREモデルを提案する。
論文 参考訳（メタデータ） (2025-05-24T13:48:57Z) - Foundation Models for Geospatial Reasoning: Assessing Capabilities of Large Language Models in Understanding Geometries and Topological Spatial Relations [4.302482081136594]
本研究では、空間的推論において、よく知られたテクスト(WKT)表現とその空間的関係が保持される範囲について検討する。
我々のワークフローは、比較のための空間的推論タスクを完成させるために、3つの異なるアプローチを採用している。
論文 参考訳（メタデータ） (2025-05-22T05:21:31Z) - OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence [51.0456395687016]
マルチモーダル大言語モデル(LLM)が人工知能の新しいフロンティアをオープンした。
地理空間応用に適したMLLM(OmniGeo)を提案する。
自然言語理解の長所と空間的推論の長所を組み合わせることで,GeoAIシステムの指示追従能力と精度を高めることができる。
論文 参考訳（メタデータ） (2025-03-20T16:45:48Z) - Geolocation with Real Human Gameplay Data: A Large-Scale Dataset and Human-Like Reasoning Framework [59.42946541163632]
3つの重要なコンポーネントを持つ包括的位置決めフレームワークを導入する。
大規模データセットGeoComp、新しい推論手法GeoCoT、評価指標GeoEval。
また,GeoCoTは解釈可能性を高めつつ,位置情報の精度を最大25%向上させることを示した。
論文 参考訳（メタデータ） (2025-02-19T14:21:25Z) - PEACE: Empowering Geologic Map Holistic Understanding with MLLMs [64.58959634712215]
地質図は地質学の基本的な図として、地球の地下と地表の構造と構成に関する重要な洞察を提供する。
その重要性にもかかわらず、現在のマルチモーダル大言語モデル(MLLM)は地質図の理解に乏しいことが多い。
このギャップを定量化するために、地質地図理解においてMLLMを評価するための最初のベンチマークであるGeoMap-Benchを構築した。
論文 参考訳（メタデータ） (2025-01-10T18:59:42Z) - GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。
我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。
実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
論文 参考訳（メタデータ） (2023-10-10T00:03:23Z) - GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.08664336835741]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。
オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。
我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳（メタデータ） (2023-05-11T03:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。