Fugu-MT 論文翻訳(概要): Evaluation of Code LLMs on Geospatial Code Generation

論文の概要: Evaluation of Code LLMs on Geospatial Code Generation

arxiv url: http://arxiv.org/abs/2410.04617v1
Date: Sun, 6 Oct 2024 20:34:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 06:26:32.362716
Title: Evaluation of Code LLMs on Geospatial Code Generation
Title（参考訳）: 地理空間コード生成におけるLLMの評価
Authors: Piotr Gramacki, Bruno Martins, Piotr Szymański,
Abstract要約: 大規模言語モデル(LLM)は、データサイエンスと機械学習アプリケーションのためのPythonコードを生成することができる。本稿では,空間的タスクの選択に基づいて,コード生成モデルの評価ベンチマークを構築した。我々のデータセットは、地理空間的コーディングタスクを高精度に解決できる新しいモデルの開発に貢献することを期待している。
参考スコア（独自算出の注目度）: 1.6834474847800562
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Software development support tools have been studied for a long time, with recent approaches using Large Language Models (LLMs) for code generation. These models can generate Python code for data science and machine learning applications. LLMs are helpful for software engineers because they increase productivity in daily work. An LLM can also serve as a "mentor" for inexperienced software developers, and be a viable learning support. High-quality code generation with LLMs can also be beneficial in geospatial data science. However, this domain poses different challenges, and code generation LLMs are typically not evaluated on geospatial tasks. Here, we show how we constructed an evaluation benchmark for code generation models, based on a selection of geospatial tasks. We categorised geospatial tasks based on their complexity and required tools. Then, we created a dataset with tasks that test model capabilities in spatial reasoning, spatial data processing, and geospatial tools usage. The dataset consists of specific coding problems that were manually created for high quality. For every problem, we proposed a set of test scenarios that make it possible to automatically check the generated code for correctness. In addition, we tested a selection of existing code generation LLMs for code generation in the geospatial domain. We share our dataset and reproducible evaluation code on a public GitHub repository, arguing that this can serve as an evaluation benchmark for new LLMs in the future. Our dataset will hopefully contribute to the development new models capable of solving geospatial coding tasks with high accuracy. These models will enable the creation of coding assistants tailored for geospatial applications.
Abstract（参考訳）: ソフトウェア開発支援ツールは、コード生成にLLM(Large Language Models)を使用した最近のアプローチで、長い間研究されてきた。これらのモデルは、データサイエンスと機械学習アプリケーションのためのPythonコードを生成することができる。 LLMは、日々の作業で生産性を上げるので、ソフトウェアエンジニアにとって役立ちます。 LLMは経験の浅いソフトウェア開発者のための"メンター"としても機能し、実行可能な学習支援としても機能する。 LLMを使った高品質なコード生成は地理空間データサイエンスにも有用である。しかし、このドメインは異なる課題を提起し、コード生成のLLMは通常、地理空間的タスクでは評価されない。本稿では,空間的タスクの選択に基づいて,コード生成モデルの評価ベンチマークを構築した。その複雑さと必要なツールに基づいて地理空間的タスクを分類した。次に,空間推論,空間データ処理,地理空間ツール利用におけるモデル機能をテストするタスクを備えたデータセットを構築した。データセットは、高品質のために手作業で作成された特定のコーディング問題で構成されている。すべての問題に対して、私たちは、生成したコードを自動的に正当性をチェックするための一連のテストシナリオを提案しました。さらに,地理空間領域におけるコード生成のための既存のコード生成LLMの選定試験を行った。私たちは、データセットと再現可能な評価コードを公開GitHubリポジトリで共有しています。我々のデータセットは、地理空間的コーディングタスクを高精度に解決できる新しいモデルの開発に貢献することを期待している。これらのモデルにより、地理空間アプリケーションに適したコーディングアシスタントの開発が可能になる。

関連論文リスト

Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks [0.8274693573069442]
この研究は、自動生成されたベンチマークを利用して、LaaJの実装を生成および評価する方法論を導入する。ベンチマークは、LaaJの開発と検証と、LaaJを使用してLLMコード関連ソリューションの検証とテストの両方に使用される。私たちのアプローチは、高品質なコードタスクソリューションの作成を可能にします。
論文参考訳（メタデータ） (2024-10-28T14:34:36Z)
An LLM Agent for Automatic Geospatial Data Analysis [5.842462214442362]
大規模言語モデル(LLM)は、データサイエンスコード生成タスクで使われている。複雑なデータ構造と空間的制約を組み込むのが困難であるため,空間空間データ処理への応用は困難である。ジオアジェント(GeoAgent)は,LLMが地理空間データ処理をより効率的に処理できるように設計された対話型フレームワークである。
論文参考訳（メタデータ） (2024-10-24T14:47:25Z)
Can Large Language Models Generate Geospatial Code? [1.8449647922514607]
本稿では,大規模言語モデルの地理空間コード生成能力を評価するフレームワークであるGeoCode-Evalを紹介する。ベンチマークデータセットであるGeoCode-Benchを開発し、5000のマルチチョイス、1500のフィリング・イン・ザ・ブランク、1500の真偽質問、1000の主観的タスクで構成された。 GeoCode-Benchを用いて、3つの商用クローズドソースLCM、4つのオープンソース汎用LCM、14の特殊コード生成モデルを評価した。
論文参考訳（メタデータ） (2024-10-13T06:14:27Z)
DOMAINEVAL: An Auto-Constructed Benchmark for Multi-Domain Code Generation [48.11754113512047]
この研究には、コード生成ベンチマークデータセットであるDOMAINEVALが含まれており、6つの人気のあるドメインを含んでいる。私たちのパイプラインは完全に自動化され、コードリポジトリから研究対象のフォーマットへのプッシュボットの構築が可能になります。本研究のコントリビューションには、コード生成ベンチマークデータセットであるDOMAINEVAL、コードベンチマークを構築するための完全自動化パイプライン、DOMAINEVALのパフォーマンスに基づいたコード生成タスクにおけるLLMの制限の識別が含まれている。
論文参考訳（メタデータ） (2024-08-23T16:33:58Z)
CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文参考訳（メタデータ） (2024-06-20T16:59:52Z)
SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
論文参考訳（メタデータ） (2024-06-18T14:54:37Z)
VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文参考訳（メタデータ） (2024-06-11T16:15:06Z)
LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
論文参考訳（メタデータ） (2023-11-25T02:45:50Z)
GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
論文参考訳（メタデータ） (2023-10-10T00:03:23Z)
CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
論文参考訳（メタデータ） (2023-09-29T17:40:26Z)
Calculating Originality of LLM Assisted Source Code [0.0]
本稿では,学生がソースコードを書く際の本来の取り組み(およびLLMの貢献)を決定するニューラルネットワークベースのツールを提案する。我々のツールは、コルモゴロフ複雑性のような最小記述長測度によって動機付けられている。
論文参考訳（メタデータ） (2023-07-10T11:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。