論文の概要: GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
- arxiv url: http://arxiv.org/abs/2610.12669v1
- Date: Thu, 08 Oct 2026 19:45:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.261294
- Title: GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
- Title（参考訳）: GeoFitBench-LLM:地理空間データ要求における大規模言語モデルの能力評価のためのベンチマーク
- Abstract要約: GeoFitBench-LLMは、大規模言語モデルがデータセット、サポートリソース、および自然言語におけるジオ分析要求に必要な制約を推測できるかどうかを評価するためのベンチマークとして導入された。
その結果,推測要求が増大するにつれて,正確な適合性仕様の策定が困難であることが示唆された。
- 参考スコア（独自算出の注目度）: 1.7587442088965224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are becoming central to GeoAI systems, yet their evaluation rarely considers the elicitation of geospatial data requirements. This omission is critical as retrieval oriented geo-analytic tasks cannot be supported reliably without first identifying the necessary datasets and constraints. GeoFitBench-LLM is introduced as a benchmark for assessing whether LLMs can infer the datasets, the supporting resources and the constraints required by geo-analytic requests in natural language. The benchmark is structured around two reasoning dimensions, Spatio-Temporal Relational and Semantic Grounding, reflecting long-standing challenges in geospatial information retrieval and related natural language tasks. Ground truth requirements are encoded in a fixed, provider-independent schema for reproducible evaluation of resource identification and attribute-level specification. Experiments on seven models under minimal prompting indicate that identifying the necessary resources is often achievable, with GPT-5.4 Thinking achieving the best result by recovering the complete set of resources in 66.67% of benchmark requests. Results further indicate that accurate fitness-for-use specification remains more difficult as inferential demands increase.
- Abstract（参考訳）: 大規模言語モデルはGeoAIシステムの中心的存在になりつつあるが、その評価は地理空間データ要求の活用を考えることは滅多にない。
検索指向のジオアナリシスタスクは、最初に必要なデータセットと制約を特定することなく、確実にサポートできないため、この省略は重要である。
GeoFitBench-LLMは、LLMがデータセット、サポートリソース、および自然言語におけるジオ分析要求に必要な制約を推測できるかどうかを評価するためのベンチマークとして導入された。
このベンチマークは、空間的情報検索と関連する自然言語タスクにおける長年の課題を反映して、時空間関係と意味的接地という2つの推論次元に基づいて構成されている。
資源識別と属性レベル仕様の再現可能な評価のために、地上の真理要求を固定されたプロバイダに依存しないスキーマで符号化する。
GPT-5.4 GPT-5.4 ベンチマーク要求の66.67%でリソースの完全なセットを回復することで、最良の結果を達成することができる。
さらに、推測要求が増加するにつれて、正確なフィットネス・フォー・ユース仕様がより困難であることが示唆された。
関連論文リスト
- ReaGeo: Reasoning-Enhanced End-to-End Geocoding with LLMs [8.089023511080248]
本稿では,大規模言語モデルに基づくエンドツーエンドのジオコーディングフレームワークReaGeoを提案する。
この方法は、座標をジオハッシュシーケンスに変換し、座標予測タスクをテキスト生成問題として再構成する。
距離決定に基づく報酬を用いた強化学習を適用し、生成精度を最適化する。
論文 参考訳（メタデータ） (2026-04-23T07:18:21Z) - GeoAgent: Learning to Geolocate Everywhere with Reinforced Geographic Characteristics [91.17301794848025]
本稿では,人間と密に推論し,詳細なアドレス結論を導出できるGeoAgentについて述べる。
従来のRLベースの手法は、パフォーマンスと解釈可能性においてブレークスルーを達成したが、AI生成のチェーン・オブ・プリート(CoT)データとトレーニング戦略に依存しているため、依然として懸念が残っている。
論文 参考訳（メタデータ） (2026-02-13T04:48:05Z) - GEO-Bench-2: From Performance to Capability, Rethinking Evaluation in Geospatial AI [52.13138825802668]
GeoFMは地球観測を変革しているが、評価には標準化されたプロトコルが欠けている。
GEO-Bench-2は、分類、セグメンテーション、回帰、オブジェクト検出、インスタンスセグメンテーションにまたがる包括的なフレームワークでこの問題に対処する。
GEO-Bench-2のコード、データ、およびリーダーボードは、パーミッシブライセンスの下で公開されている。
論文 参考訳（メタデータ） (2025-11-19T17:45:02Z) - GeoAnalystBench: A GeoAI benchmark for assessing large language models for spatial analysis workflow and code generation [32.22754624992446]
実世界の地理空間問題から派生したPythonベースのタスク50のベンチマークであるGeoAnalystBenchを紹介する。
このベンチマークを用いて、プロプライエタリモデルとオープンソースモデルの両方を評価します。
ChatGPT-4o-miniのようなプロプライエタリなモデルは95%の妥当性とより強力なコードアライメントを実現します。
論文 参考訳（メタデータ） (2025-09-07T00:51:57Z) - GeoRAG: A Question-Answering Approach from a Geographical Perspective [3.243241445980849]
Geographic Question Answering (GeoQA) は、地理的領域における自然言語クエリに対処する。
従来のQAシステムは、限定的な理解、低い検索精度、弱い相互作用性、複雑なタスクの不十分な処理に悩まされている。
本研究は、ドメイン固有の微調整と迅速なエンジニアリングを統合した知識強化型QAフレームワークであるGeoRAGについて述べる。
論文 参考訳（メタデータ） (2025-04-02T08:11:05Z) - Geolocation with Real Human Gameplay Data: A Large-Scale Dataset and Human-Like Reasoning Framework [59.42946541163632]
3つの重要なコンポーネントを持つ包括的位置決めフレームワークを導入する。
大規模データセットGeoComp、新しい推論手法GeoCoT、評価指標GeoEval。
また,GeoCoTは解釈可能性を高めつつ,位置情報の精度を最大25%向上させることを示した。
論文 参考訳（メタデータ） (2025-02-19T14:21:25Z) - GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。
私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。
地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
論文 参考訳（メタデータ） (2024-11-28T18:59:56Z) - Geode: A Zero-shot Geospatial Question-Answering Agent with Explicit Reasoning and Precise Spatio-Temporal Retrieval [0.0]
本研究では,ゼロショット地理空間的質問応答タスクを高精度に処理するための先駆的システムを提案する。
当社のアプローチは,現在の大規模言語モデルの限界に対処する上で,大幅な改善を図っている。
論文 参考訳（メタデータ） (2024-06-26T21:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。