論文の概要: GeoBenchX: Benchmarking LLMs for Multistep Geospatial Tasks

• arxiv url: http://arxiv.org/abs/2503.18129v1
• Date: Sun, 23 Mar 2025 16:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:17.000205
• Title: GeoBenchX: Benchmarking LLMs for Multistep Geospatial Tasks
• Title（参考訳）: GeoBenchX: 多段階地理空間タスクのためのLLMのベンチマーク
• Authors: Varvara Krechetova, Denis Kochedykov,
• Abstract要約: Sonnet 3.5 と GPT-4o は最高性能を達成し、Claude モデルは解決可能なタスクに優れていた。 一般的な誤りには、幾何学的関係の誤解、時代遅れの知識への依存、非効率的なデータ操作などがある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we establish a benchmark for evaluating large language models (LLMs) on multi-step geospatial tasks relevant to commercial GIS practitioners. We assess seven leading commercial LLMs (Sonnet 3.5 and 3.7, Haiku 3.5, Gemini 2.0, GPT-4o, GPT-4o mini, and o3-mini) using a simple tool-calling agent equipped with 23 geospatial functions. Our benchmark comprises tasks across four categories of increasing complexity, with both solvable and intentionally unsolvable tasks to test hallucination rejection. We develop an LLM-as-Judge evaluation framework to compare agent solutions against reference implementations. Results show Sonnet 3.5 and GPT-4o achieve the best overall performance, with Claude models excelling on solvable tasks while OpenAI models better identify unsolvable scenarios. We observe significant differences in token usage, with Anthropic models consuming substantially more tokens than competitors. Common errors include misunderstanding geometrical relationships, relying on outdated knowledge, and inefficient data manipulation. The resulting benchmark set, evaluation framework, and data generation pipeline are released as open-source resources, providing one more standardized method for ongoing evaluation of LLMs for GeoAI.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)を,商業GIS実践者に関連する多段階の地理空間課題に対して評価するためのベンチマークを確立する。 我々は,23の地理空間機能を備えた簡易なツールコールエージェントを用いて,商業用LLM(Sonnet 3.5, 3.7, Haiku 3.5, Gemini 2.0, GPT-4o, GPT-4o mini, o3-mini)を7種類評価した。 本ベンチマークでは, 複雑性の増大という4つのカテゴリにまたがって, 幻覚の拒絶をテストするために, 解決不可能なタスクと意図的に解決不可能なタスクを分けた。 LLM-as-Judge 評価フレームワークを開発した。 結果は、Sonnet 3.5とGPT-4oが全体的なパフォーマンスを最高のものにしていることを示している。 トークン使用率に大きな違いが見られ、Arthropicモデルは競合相手よりもかなり多くのトークンを消費している。 一般的な誤りには、幾何学的関係の誤解、時代遅れの知識への依存、非効率的なデータ操作などがある。 結果として得られたベンチマークセット、評価フレームワーク、およびデータ生成パイプラインはオープンソースリソースとしてリリースされ、GeoAI向けのLLMの継続的な評価のための、より標準化された方法が提供される。

関連論文リスト

• ConnectomeBench: Can LLMs Proofread the Connectome? [0.4999814847776097]
  ConnectomeBenchは,大規模言語モデル(LLM)の能力を評価するベンチマークで,3つの重要な証明読解タスクについて紹介する。 我々は,Claude 3.7/4 Sonnet, o4-mini, GPT-4.1, GPT-4o, InternVL-3 や NVLM などのオープンソースモデルを含む,プロプライエタリなマルチモーダル LLM の評価を行った。 その結果, セグメント識別において, 現在のモデルが驚くほど高い性能を発揮することが示された。 最高のモデルはまだ専門家のパフォーマンスに遅れを取っているが、最終的にはコネクトロミクスにおける人間の証明読解の強化と置き換えを可能にする有望な能力を実証している。
  論文  参考訳（メタデータ） (2025-10-31T02:20:38Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Evaluating the Use of LLMs for Documentation to Code Traceability [3.076436880934678]
  大規模言語モデルは、様々なソフトウェアドキュメンテーションとソースコードの間のトレースリンクを確立することができる。 私たちは2つのオープンソースプロジェクト(Unity CatalogとCrawl4AI)から2つの新しいデータセットを作成します。 その結果、最高の性能のLLMは2つのデータセットで79.4%と80.4%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2025-06-19T16:18:53Z)
• Guided Search Strategies in Non-Serializable Environments with Applications to Software Engineering Agents [31.651748374218446]
  大規模言語モデル(LLM)は、最近、複雑な多段階タスクにおいて顕著な成果を上げている。 彼らはしばしば、複数のソリューションを試して一貫したパフォーマンスを維持するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-19T18:50:15Z)
• TrustGeoGen: Formal-Verified Data Engine for Trustworthy Multi-modal Geometric Problem Solving [106.04001249574786]
  TrustGeoGenは、標準的で信頼性の高いベンチマークを確立するために、正式に検証された幾何問題を生成するデータエンジンである。 1)ダイアグラム,テキスト,ステップバイステップのソリューションの生成を同期するマルチモーダルアライメント,2)すべての推論パスがルール準拠であることを保証する形式検証,3)接続思考,ブリッジング,ヒューマンライクな論理ステップとの論理的推論,4)複数のソリューションと自己回帰バックトラックを備えた多種多様な問題を生成できるTextitGeoExploreシリーズアルゴリズム。
  論文  参考訳（メタデータ） (2025-04-22T10:45:23Z)
• Teamwork makes the dream work: LLMs-Based Agents for GitHub README.MD Summarization [7.330697128881243]
  様々な大規模言語モデル(LLM)のシナジーを増幅するための新しいアプローチとしてメタジェンテを提案する。 メタジェンテ(Metagente)は、特殊エージェント間の評価、フィードバック、協調を通じてシステムを自己最適化する一連のLLMに基づくマルチエージェントフレームワークである。 最も関連するベンチマークであるGitSumと比較して、パフォーマンスの向上は27.63%から60.43%である。
  論文  参考訳（メタデータ） (2025-03-13T20:42:39Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
  大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。 複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。 ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
  論文  参考訳（メタデータ） (2024-10-24T14:47:25Z)
• GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration [43.96008600046952]
  GraphTeamは3つのモジュールから5つのLLMベースのエージェントで構成されており、異なる特殊性を持つエージェントは複雑な問題に対処するために協力することができる。 6つのグラフ分析ベンチマークの実験は、GraphTeamが最先端のパフォーマンスを達成し、精度の点で最高のベースラインよりも平均25.85%改善していることを示している。
  論文  参考訳（メタデータ） (2024-10-23T17:02:59Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [88.4320775961431]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• MAgICoRe: Multi-Agent, Iterative, Coarse-to-Fine Refinement for Reasoning [60.55556283848063]
  大規模言語モデル(LLM)推論は、テストタイムアグリゲーション戦略、すなわち、複数のサンプルを生成し、生成されたサンプル間で投票することで改善することができる。 Refinementは、LLM生成したフィードバックを使ってソリューションの品質を改善する方法を提供する。 本稿では,問題の難易度を,難易度や難易度に分類することで,過度な改善を回避するMagICoReを提案する。
  論文  参考訳（メタデータ） (2024-09-18T17:12:41Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies [47.129504708849446]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。 LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。 本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
  論文  参考訳（メタデータ） (2024-02-27T10:44:52Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis [7.099257763803159]
  グラフデータを用いた解析問題に対処する4つの大規模言語モデル(LLM)の性能評価を行った。 私たちは、正確性、忠実性、そして正当性という、4つの異なる評価指標を採用しています。 GPTモデルは論理的およびコヒーレントな結果を生成し、正確性において代替よりも優れる。
  論文  参考訳（メタデータ） (2023-08-22T06:32:07Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。