Fugu-MT 論文翻訳(概要): AutoGEEval: A Multimodal and Automated Framework for Geospatial Code Generation on GEE with Large Language Models

論文の概要: AutoGEEval: A Multimodal and Automated Framework for Geospatial Code Generation on GEE with Large Language Models

arxiv url: http://arxiv.org/abs/2505.12900v1
Date: Mon, 19 May 2025 09:35:58 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-20 14:57:11.516539
Title: AutoGEEval: A Multimodal and Automated Framework for Geospatial Code Generation on GEE with Large Language Models
Title（参考訳）: AutoGEEval: 大規模言語モデルによるGEE上の地理空間コード生成のためのマルチモーダルで自動化されたフレームワーク
Authors: Shuyang Hou, Zhangxiao Shen, Huayi Wu, Jianyuan Liang, Haoyue Jiao, Yaxian Qing, Xiaopu Zhang, Xu Li, Zhipeng Gui, Xuefeng Guan, Longgang Xiang,
Abstract要約: AutoGEEvalは、大規模言語モデル(LLM)を利用したGoogle Earth Engine(GEE)プラットフォーム上でのコード生成タスクの評価フレームワークである。 GEE Python APIをベースに構築されたAutoGEEvalは、26のGEEデータタイプにまたがる1325のテストケースからなるベンチマークスイート(AutoGEEval-Bench)を確立する。我々は、GEEコード生成における性能特性と潜在的な最適化経路について、汎用、推論、コード中心、地学特化モデルを含む18の最先端LCMを評価した。
参考スコア（独自算出の注目度）: 2.115331311872418
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Geospatial code generation is emerging as a key direction in the integration of artificial intelligence and geoscientific analysis. However, there remains a lack of standardized tools for automatic evaluation in this domain. To address this gap, we propose AutoGEEval, the first multimodal, unit-level automated evaluation framework for geospatial code generation tasks on the Google Earth Engine (GEE) platform powered by large language models (LLMs). Built upon the GEE Python API, AutoGEEval establishes a benchmark suite (AutoGEEval-Bench) comprising 1325 test cases that span 26 GEE data types. The framework integrates both question generation and answer verification components to enable an end-to-end automated evaluation pipeline-from function invocation to execution validation. AutoGEEval supports multidimensional quantitative analysis of model outputs in terms of accuracy, resource consumption, execution efficiency, and error types. We evaluate 18 state-of-the-art LLMs-including general-purpose, reasoning-augmented, code-centric, and geoscience-specialized models-revealing their performance characteristics and potential optimization pathways in GEE code generation. This work provides a unified protocol and foundational resource for the development and assessment of geospatial code generation models, advancing the frontier of automated natural language to domain-specific code translation.
Abstract（参考訳）: 地理空間コード生成は、人工知能と地球科学分析の統合の鍵となる方向として現れつつある。しかし、この領域では、自動評価のための標準化されたツールが不足している。このギャップに対処するため,Google Earth Engine (GEE) プラットフォーム上での大規模言語モデル (LLM) を利用したジオ空間コード生成タスクのための,最初のマルチモーダル・ユニットレベルの自動評価フレームワークであるAutoGEEvalを提案する。 GEE Python APIをベースに構築されたAutoGEEvalは、26のGEEデータタイプにまたがる1325のテストケースからなるベンチマークスイート(AutoGEEval-Bench)を確立する。このフレームワークは質問生成と回答検証の両方のコンポーネントを統合し、関数呼び出しから実行検証までのエンドツーエンドの自動評価パイプラインを可能にする。 AutoGEEvalは、精度、リソース消費、実行効率、エラータイプの観点から、モデルの出力を多次元で定量的に分析する。我々は、GEEコード生成における性能特性と潜在的な最適化経路について、汎用、推論、コード中心、地学特化モデルを含む18の最先端LCMを評価した。この研究は、地理空間コード生成モデルの開発と評価のための統一されたプロトコルと基盤資源を提供し、自動化された自然言語のフロンティアをドメイン固有のコード翻訳へと前進させる。

関連論文リスト

TrustGeoGen: Scalable and Formal-Verified Data Engine for Trustworthy Multi-modal Geometric Problem Solving [66.0201510984171]
問題生成のためのスケーラブルなデータエンジンTrustGeoGenを提案する。正式な検証により、TrustGeoGenは、モダリティの整合性を保証するGeoTrust-200Kデータセットを生成する。実験の結果、GeoTrust-testの精度は49.17%に過ぎなかった。
論文参考訳（メタデータ） (2025-04-22T10:45:23Z)
GEE-OPs: An Operator Knowledge Base for Geospatial Code Generation on the Google Earth Engine Platform Powered by Large Language Models [0.562479170374811]
本稿では,Google Earth Engine (GEE) JavaScript APIに適した演算子知識ベースを構築するためのフレームワークを提案する。本フレームワークは、演算子構文知識テーブル、演算子関係周波数テーブル、演算子頻繁パターン知識テーブル、演算子関係連鎖知識テーブルからなる。本研究では,演算子の知識抽出において,90%以上の精度,リコール,F1スコアが達成されていることを示す。
論文参考訳（メタデータ） (2024-12-07T08:50:24Z)
Geo-FuB: A Method for Constructing an Operator-Function Knowledge Base for Geospatial Code Generation Tasks Using Large Language Models [0.5242869847419834]
本研究では,地理空間記述のセマンティクスを活用して,そのような知識基盤を構築するためのフレームワークを提案する。サンプルの知識ベースであるGeo-FuBは154,075のGoogle Earth Engineスクリプトで構築されており、GitHubで公開されている。
論文参考訳（メタデータ） (2024-10-28T12:50:27Z)
AICoderEval: Improving AI Domain Code Generation of Large Language Models [10.060988050644076]
この分野の研究を促進するために,AICoderEvalデータセットをオープンソースとして公開しています。我々は,LLMが現実世界のタスクに関連するコードを生成するのを支援するために,エージェントベースのフレームワークであるCoderGenを提案する。 AICoderEvalをベースとしたllama-3を改良したAICoderという,より強力なタスク固有コード生成モデルをトレーニングしています。
論文参考訳（メタデータ） (2024-06-07T07:45:38Z)
AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
AutoActはQAのための自動エージェント学習フレームワークである。大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
論文参考訳（メタデータ） (2024-01-10T16:57:24Z)
AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文参考訳（メタデータ） (2021-07-15T16:46:01Z)
PAIRS AutoGeo: an Automated Machine Learning Framework for Massive Geospatial Data [7.742399489996169]
IBM PAIRS Geoscopeビッグデータおよび分析プラットフォームで、PAIRS AutoGeoと呼ばれる地理空間データのための自動機械学習フレームワークが導入された。このフレームワークは、必要なデータをロケーション座標に収集し、トレーニングデータを組み立て、品質チェックを行い、その後のデプロイメントのために複数の機械学習モデルをトレーニングする。このユースケースは、PAIRS AutoGeoが広範な地理空間の専門知識なしに機械学習を活用できるようにする方法の例です。
論文参考訳（メタデータ） (2020-12-12T21:12:41Z)
Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。 FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
論文参考訳（メタデータ） (2020-02-27T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。