論文の概要: GeoNatureAgent Benchmark: Benchmarking LLM Agents for Environmental Geospatial Analysis Across Frontier and Open-Weight Foundation Models

• arxiv url: http://arxiv.org/abs/2606.12821v1
• Date: Thu, 11 Jun 2026 02:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.544142
• Title: GeoNatureAgent Benchmark: Benchmarking LLM Agents for Environmental Geospatial Analysis Across Frontier and Open-Weight Foundation Models
• Title（参考訳）: GeoNatureAgentベンチマーク:環境地理空間分析のためのLLMエージェントのベンチマーク
• Authors: Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain,
• Abstract要約: 環境分析エージェントのための最初のベンチマークであるGeoNatureAgent Benchmarkを導入する。 18のカテゴリーにわたる93のタスクで構成されており、自治体分析、マルチターン会話、空間推論、クロスインジケータ合成、エラーハンドリングとリカバリ、ランキング、比較、多言語理解、居住地分析、タスク拒否をカバーしている。 タスクは、16のツールを通じてスペインとポルトガルの3つの環境指標を提供するオープンで自己ホスト可能なAPIに対して評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Environmental scientists spend disproportionate effort on data wrangling rather than analysis, and AI agents that automate geospatial workflows remain unvalidated: no benchmark evaluates agents operating through structured tool calling against real APIs. We introduce the GeoNatureAgent Benchmark, the first benchmark for environmental analysis agents that operate via structured tool calls to a production-style geospatial API. It comprises 93 tasks across 18 categories, covering municipality analysis, multi-turn conversation, spatial reasoning, cross-indicator synthesis, error handling and recovery, ranking, comparison, multilingual understanding, habitat analysis, and task rejection. Tasks are evaluated against an open, self-hostable API serving three environmental indicators across Spain and Portugal via sixteen tools. We evaluate seven LLMs (Claude Sonnet 4, DeepSeek V3.2, GLM-5, Gemini 2.5 Pro, Qwen3-235B, GPT-OSS-120B, Llama 4 Scout) under three temperature-1.0 seeds, reporting capability and per-case cost as orthogonal axes. We find: (1) Claude Sonnet 4 leads at 60.8% +/- 0.8%, followed by DeepSeek V3.2 at 56.3% +/- 3.1%, with no other model above 51%; (2) the cost-accuracy Pareto frontier is occupied mostly by open-weight models, with DeepSeek V3.2 offering 93% of Claude's capability at 11x lower cost ($0.011/case); (3) comparison tasks remain universally unsolved (0% on close-value comparisons), exposing systematic reasoning limits; and (4) structured tool calling against a real API is more discriminative than general-purpose GIS benchmarks, with accuracies 25-35 points lower. We further show extensibility by integrating BigEarthNet V2 land cover for Portugal alongside Spanish CO2 and erosion indicators. The benchmark, harness, and self-hostable API are publicly available.
• Abstract（参考訳）: 環境科学者は分析よりもデータラングリングに不均等な努力を払っており、地理空間ワークフローを自動化するAIエージェントはいまだに無効である。 環境分析エージェントのための最初のベンチマークであるGeoNatureAgent Benchmarkを導入する。 18のカテゴリーにわたる93のタスクで構成されており、自治体分析、マルチターン会話、空間推論、クロスインジケータ合成、エラーハンドリングとリカバリ、ランキング、比較、多言語理解、居住地分析、タスク拒否をカバーしている。 タスクは、16のツールを通じてスペインとポルトガルの3つの環境指標を提供するオープンで自己ホスト可能なAPIに対して評価される。 我々は,3つのLLM(Claude Sonnet 4, DeepSeek V3.2, GLM-5, Gemini 2.5 Pro, Qwen3-235B, GPT-OSS-120B, Llama 4 Scout)を温度1.0の種子で評価し,直交軸として報告能力とケースあたりのコストを検討した。 1) Claude Sonnet 4 は 60.8% +/- 0.8% でリードし、次に DeepSeek V3.2 は56.3% +/-31% で、他のモデルは51% 以上で、2) コスト精度のParetoフロンティアはオープンウェイトモデルで占められており、DeepSeek V3.2 は Claude の能力の 93% を 11 倍のコスト (0.011/case) で提供する。 さらに,スペインのCO2および浸食指標とともに,ポルトガルのBigEarthNet V2ランドカバーを統合することで,拡張性を示す。 ベンチマーク、ハーネス、セルフホスト可能なAPIが公開されている。

関連論文リスト

• PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents [53.369140518949656]
  外部知識グラフ(KG)の統合により,大規模言語モデル(LLM)ベースのシステムを強化する新しいフレームワークであるPersonalAI 2.0(PAI-2)を紹介する。 提案手法は,動的でマルチステージなクエリ処理パイプラインを組み込むことにより,既存のGraphRAG(Retrieval-Augmented Generation)メソッドの重要な制限に対処する。 グラフアルゴリズム(例えば、BeamSearch、WaterCircles)は、平均6%の標準フラットテンレトリバーよりも優れた結果が得られる一方で、検索計画強化機構は、6つのデータセットにわたるLLM-as-a-Judgeによる障害アルゴリズムに比べて18%向上することを示す。
  論文  参考訳（メタデータ） (2026-05-13T13:06:30Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Governance Architecture for Autonomous Agent Systems: Threats, Framework, and Engineering Practice [0.0]
  実行サンドボックス(L1)、意図検証(L2)、ゼロトラスト間認証(L3)、不変監査ロギング(L4)からなる4層フレームワークであるレイヤガバナンスアーキテクチャ(LGA)を提案する。 LGAを評価するために、1,081のツールコールサンプル(インジェクション、RAG中毒、悪意のあるスキルプラグインなど)のベンチマーク(中国語のオリジナル、機械翻訳による英語)を構築し、それをオープンソースの代表的なエージェントフレームワークであるOpenClawに適用する。
  論文  参考訳（メタデータ） (2026-03-07T13:05:14Z)
• FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents [3.5621895565039203]
  FinRetrievalは、ファイナンシャル検索に関する500の質問と、根拠となる真実の回答のベンチマークである。 Claude Opusは構造化データAPIで90.8%の精度を達成しているが、Web検索だけでは19.8%に過ぎない。
  論文  参考訳（メタデータ） (2026-01-02T17:51:37Z)
• Benchmarking Large Language Models for Geolocating Colonial Virginia Land Grants [0.0]
  バージニアの17世紀から18世紀の土地特許は、主に物語のメッツ・アンド・バウンドの記述として残っている。 本研究では、これらの散文を地理的に正確な緯度・経度座標に変換する際に、現在世代の大言語モデル(LLM)を体系的に評価する。
  論文  参考訳（メタデータ） (2025-07-27T21:49:58Z)
• GeoBenchX: Benchmarking LLMs in Agent Solving Multistep Geospatial Tasks [0.11458853556386796]
  本稿では,大規模言語モデル(LLM)のツールコール能力を評価するためのベンチマークを確立する。 我々は,23の地理空間機能を備えた簡易なツールコールエージェントを用いて,8種類の商用LCM (Claude Sonnet 3.5, 4, Claude Haiku 3.5, Gemini 2.0 Flash, Gemini 2.5 Pro Preview, GPT-4o, GPT-4.1, o4-mini) を評価した。 OpenAIのGPT-4.1、GPT-4o、GoogleのGemini 2.5 Pro Previewはそれほど遅れていないが、最後の2つはより効率的である。
  論文  参考訳（メタデータ） (2025-03-23T16:20:14Z)
• Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
  GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。 モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
  論文  参考訳（メタデータ） (2024-01-08T20:08:04Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。