論文の概要: GeoAgentBench: A Dynamic Execution Benchmark for Tool-Augmented Agents in Spatial Analysis

• arxiv url: http://arxiv.org/abs/2604.13888v1
• Date: Wed, 15 Apr 2026 13:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.568178
• Title: GeoAgentBench: A Dynamic Execution Benchmark for Tool-Augmented Agents in Spatial Analysis
• Title（参考訳）: GeoAgentBench: 空間分析におけるツール強化エージェントの動的実行ベンチマーク
• Authors: Bo Yu, Cheng Yang, Dongyang Hou, Chengfu Liu, Jiayao Liu, Chi Wang, Zhiming Zhang, Haifeng Li, Wentao Yang,
• Abstract要約: ツール拡張GISエージェントに適した動的かつインタラクティブな評価ベンチマークであるGeoAgentBench(GABench)を紹介する。 GABenchは117の原子GISツールを統合し、53の典型的な空間分析タスクを含む現実的なサンドボックスを提供する。 我々は,グローバルオーケストレーションをステップワイドなリアクティブ実行から切り離して,専門家の認知異常を模倣する新しいエージェントアーキテクチャであるPlan-and-Reactを開発した。
• 参考スコア（独自算出の注目度）: 16.604040127938955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of Large Language Models (LLMs) into Geographic Information Systems (GIS) marks a paradigm shift toward autonomous spatial analysis. However, evaluating these LLM-based agents remains challenging due to the complex, multi-step nature of geospatial workflows. Existing benchmarks primarily rely on static text or code matching, neglecting dynamic runtime feedback and the multimodal nature of spatial outputs. To address this gap, we introduce GeoAgentBench (GABench), a dynamic and interactive evaluation benchmark tailored for tool-augmented GIS agents. GABench provides a realistic execution sandbox integrating 117 atomic GIS tools, encompassing 53 typical spatial analysis tasks across 6 core GIS domains. Recognizing that precise parameter configuration is the primary determinant of execution success in dynamic GIS environments, we designed the Parameter Execution Accuracy (PEA) metric, which utilizes a "Last-Attempt Alignment" strategy to quantify the fidelity of implicit parameter inference. Complementing this, a Vision-Language Model (VLM) based verification is proposed to assess data-spatial accuracy and cartographic style adherence. Furthermore, to address the frequent task failures caused by parameter misalignments and runtime anomalies, we developed a novel agent architecture, Plan-and-React, that mimics expert cognitive workflows by decoupling global orchestration from step-wise reactive execution. Extensive experiments with seven representative LLMs demonstrate that the Plan-and-React paradigm significantly outperforms traditional frameworks, achieving the optimal balance between logical rigor and execution robustness, particularly in multi-step reasoning and error recovery. Our findings highlight current capability boundaries and establish a robust standard for assessing and advancing the next generation of autonomous GeoAI.
• Abstract（参考訳）: 大規模言語モデル(LLM)を地理情報システム(GIS)に統合することは、自律的な空間分析へのパラダイムシフトである。 しかし,これらのLSMをベースとしたエージェントの評価は,地理空間的ワークフローの複雑で多段階的な性質のため,依然として困難である。 既存のベンチマークは主に静的テキストやコードマッチングに依存しており、動的ランタイムフィードバックや空間出力のマルチモーダルな性質を無視している。 ツール拡張GISエージェントに適した動的かつインタラクティブな評価ベンチマークであるGeoAgentBench(GABench)を紹介する。 GABenchは、117の原子GISツールを統合する現実的な実行サンドボックスを提供し、6つのコアGISドメインにわたる53の典型的な空間分析タスクを含んでいる。 パラメータ設定が動的GIS環境における実行成功の第一決定要因であることを認識し,パラメータ実行精度(PEA)メトリックを設計し,暗黙的パラメータ推論の忠実度を定量化するための"Last-Attempt Alignment"戦略を用いた。 これを補完し,VLMに基づく検証手法を提案し,データの空間的精度とカルトグラフィースタイルの適合性を評価する。 さらに,パラメータのミスアライメントや実行時の異常による頻繁なタスク障害に対処するため,ステップワイドなリアクティブ実行からグローバルオーケストレーションを分離することで,専門家の認知ワークフローを模倣する新しいエージェントアーキテクチャであるPlan-and-Reactを開発した。 7つの代表的なLCMによる大規模な実験では、Plan-and-Reactパラダイムが従来のフレームワークよりも大幅に優れており、特に多段階の推論とエラー回復において、論理的厳密性と実行の堅牢性の間の最適なバランスが達成されている。 本研究は,次世代の自律型GeoAIの評価と推進のための堅牢な標準を確立することを目的としている。

関連論文リスト

• A Hierarchical Multi-Agent System for Autonomous Discovery in Geoscientific Data Archives [0.0]
  PANGAEA-GPTは、自律的なデータ発見と分析のために設計された階層型マルチエージェントフレームワークである。 標準のLarge Language Model (LLM)ラッパーとは異なり、我々のアーキテクチャは集中型スーパーバイザ-ワーバートポロジを実装している。 人間の介入を最小限に抑えながら、複雑な多段階決定論的ランタイムを実行するシステムの能力を実証する。
  論文  参考訳（メタデータ） (2026-02-24T20:37:38Z)
• OpenEarthAgent: A Unified Framework for Tool-Augmented Geospatial Agents [68.85365034738534]
  本稿では,衛星画像,自然言語クエリ,詳細な推論トレースに基づいて学習したツール拡張された地理空間エージェントを開発するための統一的なフレームワークを提案する。 トレーニングパイプラインは、構造化推論軌道上の教師付き微調整に依存し、モデルを検証された多段階ツールの相互作用と整合させる。 付随コーパスは、14,538のトレーニングと1,169の評価インスタンスから構成され、トレーニングスプリットでは100K以上の推論ステップ、評価スプリットでは7K以上の推論ステップがある。
  論文  参考訳（メタデータ） (2026-02-19T18:59:54Z)
• Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
  大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。 環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-06T22:24:35Z)
• GeoAnalystBench: A GeoAI benchmark for assessing large language models for spatial analysis workflow and code generation [32.22754624992446]
  実世界の地理空間問題から派生したPythonベースのタスク50のベンチマークであるGeoAnalystBenchを紹介する。 このベンチマークを用いて、プロプライエタリモデルとオープンソースモデルの両方を評価します。 ChatGPT-4o-miniのようなプロプライエタリなモデルは95%の妥当性とより強力なコードアライメントを実現します。
  論文  参考訳（メタデータ） (2025-09-07T00:51:57Z)
• ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
  ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。 我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。 分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
  論文  参考訳（メタデータ） (2025-05-29T17:59:38Z)
• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)
• GEOBench-VLM: Benchmarking Vision-Language Models for Geospatial Tasks [84.86699025256705]
  本稿では,地理空間的タスクの視覚言語モデル(VLM)を評価するためのベンチマークであるGEOBench-VLMを提案する。 私たちのベンチマークでは、手動で検証された命令が1万以上あり、さまざまな視覚条件、オブジェクトタイプ、スケールにまたがっています。 地理空間固有の課題における性能を評価するために,いくつかの最先端のVLMを評価した。
  論文  参考訳（メタデータ） (2024-11-28T18:59:56Z)
• An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
  大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。 複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。 ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-24T14:47:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。