Fugu-MT 論文翻訳(概要): Can Large Language Models Generate Geospatial Code?

論文の概要: Can Large Language Models Generate Geospatial Code?

arxiv url: http://arxiv.org/abs/2410.09738v1
Date: Fri, 18 Oct 2024 02:49:24 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 05:12:47.673659
Title: Can Large Language Models Generate Geospatial Code?
Title（参考訳）: 大規模言語モデルは地理空間コードを生成することができるか?
Authors: Shuyang Hou, Shen Zhangxiao, Liang Jianyuan, Zhao Anqi, Gui Zhipeng, Li Rui, Huayi Wu,
Abstract要約: 本稿では,大規模言語モデルの地理空間コード生成能力を評価するフレームワークであるGeoCode-Evalを紹介する。ベンチマークデータセットであるGeoCode-Benchを開発し、5000のマルチチョイス、1500のフィリング・イン・ザ・ブランク、1500の真偽質問、1000の主観的タスクで構成された。 GeoCode-Benchを用いて、3つの商用クローズドソースLCM、4つのオープンソース汎用LCM、14の特殊コード生成モデルを評価した。
参考スコア（独自算出の注目度）: 0.4711628883579317
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the growing demand for spatiotemporal data processing and geospatial modeling, automating geospatial code generation has become essential for productivity. Large language models (LLMs) show promise in code generation but face challenges like domain-specific knowledge gaps and "coding hallucinations." This paper introduces GeoCode-Eval (GCE), a framework for assessing LLMs' ability to generate geospatial code across three dimensions: "Cognition and Memory," "Comprehension and Interpretation," and "Innovation and Creation," distributed across eight capability levels. We developed a benchmark dataset, GeoCode-Bench, consisting of 5,000 multiple-choice, 1,500 fill-in-the-blank, 1,500 true/false questions, and 1,000 subjective tasks covering code summarization, generation, completion, and correction. Using GeoCode-Bench, we evaluated three commercial closed-source LLMs, four open-source general-purpose LLMs, and 14 specialized code generation models. We also conducted experiments on few-shot and zero-shot learning, Chain of Thought reasoning, and multi-round majority voting to measure their impact on geospatial code generation. Additionally, we fine-tuned the Code LLaMA-7B model using Google Earth Engine-related JavaScript, creating GEECode-GPT, and evaluated it on subjective tasks. Results show that constructing pre-training and instruction datasets significantly improves code generation, offering insights for optimizing LLMs in specific domains.
Abstract（参考訳）: 時空間データ処理と地理空間モデリングの需要が高まっているため、地理空間コード生成の自動化は生産性に欠かせないものとなっている。大規模言語モデル(LLM)はコード生成において有望であるが、ドメイン固有の知識ギャップや"コーディング幻覚"といった課題に直面している。本稿では,LLMが3次元の空間的コードを生成する能力を評価するためのフレームワークであるGeoCode-Eval(GCE)について紹介する。ベンチマークデータセットであるGeoCode-Benchは、5000の多重選択、1500の補充、1500の真/偽の質問、1000の主観的なタスクで構成され、コードの要約、生成、完了、修正をカバーしている。 GeoCode-Benchを用いて、3つの商用クローズドソースLCM、4つのオープンソース汎用LCM、14の特殊コード生成モデルを評価した。また,数発・ゼロショット学習,思考の連鎖(Chain of Thought reasoning),多ラウンド多数決(multi-round majority voting)を行い,空間的コード生成への影響を計測した。さらに、Google Earth Engine関連JavaScriptを用いて、LLaMA-7Bモデルを微調整し、GEECode-GPTを作成し、主観的なタスクで評価した。その結果、事前トレーニングと命令データセットの構築はコード生成を大幅に改善し、特定のドメインでLLMを最適化するための洞察を提供することがわかった。

関連論文リスト

Chain-of-Programming (CoP) : Empowering Large Language Models for Geospatial Code Generation [2.6026969939746705]
本稿では,コード生成プロセスを5段階に分解するプログラミングフレームワークを提案する。このフレームワークには、共有情報プール、知識ベース検索、ユーザフィードバック機構が含まれている。生成されたコードの論理的明確性、構文的正確性、実行可能性を大幅に改善する。
論文参考訳（メタデータ） (2024-11-16T09:20:35Z)
CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
論文参考訳（メタデータ） (2024-11-07T00:09:54Z)
Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks [0.8274693573069442]
この研究は、自動生成されたベンチマークを利用して、LaaJの実装を生成および評価する方法論を導入する。ベンチマークは、LaaJの開発と検証と、LaaJを使用してLLMコード関連ソリューションの検証とテストの両方に使用される。私たちのアプローチは、高品質なコードタスクソリューションの作成を可能にします。
論文参考訳（メタデータ） (2024-10-28T14:34:36Z)
Geo-FuB: A Method for Constructing an Operator-Function Knowledge Base for Geospatial Code Generation Tasks Using Large Language Models [0.5242869847419834]
本研究では,地理空間記述のセマンティクスを活用して,そのような知識基盤を構築するためのフレームワークを提案する。サンプルの知識ベースであるGeo-FuBは154,075のGoogle Earth Engineスクリプトで構築されており、GitHubで公開されている。
論文参考訳（メタデータ） (2024-10-28T12:50:27Z)
GeoCode-GPT: A Large Language Model for Geospatial Code Generation Tasks [1.7687829461198472]
本稿ではGeoCode-PTとGeoCode-SFTコーパスとGeoCode-Eval評価データセットをオープンソースとして公開した。プレトレーニングと微調整にQRAとLoRAを活用することで,地理空間コード生成にフォーカスした最初のLLMであるGeoCode-GPT-7Bを導入する。実験の結果、GeoCode-GPTは他のモデルよりも9.1%から32.1%、コード要約能力は5.4%から21.7%、コード生成能力は1.2%から25.1%で優れていた。
論文参考訳（メタデータ） (2024-10-22T13:57:55Z)
Evaluation of Code LLMs on Geospatial Code Generation [1.6834474847800562]
大規模言語モデル(LLM)は、データサイエンスと機械学習アプリケーションのためのPythonコードを生成することができる。本稿では,空間的タスクの選択に基づいて,コード生成モデルの評価ベンチマークを構築した。我々のデータセットは、地理空間的コーディングタスクを高精度に解決できる新しいモデルの開発に貢献することを期待している。
論文参考訳（メタデータ） (2024-10-06T20:34:03Z)
CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文参考訳（メタデータ） (2024-06-20T16:59:52Z)
VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文参考訳（メタデータ） (2024-06-11T16:15:06Z)
CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
我々は,LLMの性能を高めるため,グラフィカル検索拡張コード生成フレームワークであるCodeGRAGを提案する。 CodeGRAGは、制御フローとデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミング言語と自然言語のギャップを埋める。ハードメタグラフプロンプト、ソフトプロンプト技術、事前訓練されたGNN専門家の目的の有効性を検証するために、C++言語とピソン言語の両方を含む4つのデータセットで様々な実験と改善が行われた。
論文参考訳（メタデータ） (2024-05-03T02:48:55Z)
InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文参考訳（メタデータ） (2024-03-11T02:06:30Z)
GeoGalactica: A Scientific Large Language Model in Geoscience [95.15911521220052]
大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。我々はGeoGalacticaを65億のトークンを含む地球科学関連のテキストコーパスで訓練し、最大の地球科学固有のテキストコーパスとして保存する。次に、100万対の命令チューニングでモデルを微調整する。
論文参考訳（メタデータ） (2023-12-31T09:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。