Fugu-MT 論文翻訳(概要): CityGPT: Empowering Urban Spatial Cognition of Large Language Models

論文の概要: CityGPT: Empowering Urban Spatial Cognition of Large Language Models

arxiv url: http://arxiv.org/abs/2406.13948v1
Date: Thu, 20 Jun 2024 02:32:16 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 17:36:50.141049
Title: CityGPT: Empowering Urban Spatial Cognition of Large Language Models
Title（参考訳）: CityGPT:大規模言語モデルの都市空間認知の強化
Authors: Jie Feng, Yuwei Du, Tianhui Liu, Siqi Guo, Yuming Lin, Yong Li,
Abstract要約: 強力な言語生成と推論機能を備えた大規模言語モデル(LLM)は、すでに多くのドメインで成功している。しかし、物理世界のコーパスが不足し、訓練中に知識が不足しているため、都市空間における多くの現実的なタスクを解決できないのが普通である。都市空間の理解と関連する都市課題の解決におけるLCMの能力向上のための体系的枠組みであるCityGPTを提案する。
参考スコア（独自算出の注目度）: 7.40606412920065
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models(LLMs) with powerful language generation and reasoning capabilities have already achieved success in many domains, e.g., math and code generation. However, due to the lacking of physical world's corpus and knowledge during training, they usually fail to solve many real-life tasks in the urban space. In this paper, we propose CityGPT, a systematic framework for enhancing the capability of LLMs on understanding urban space and solving the related urban tasks by building a city-scale world model in the model. First, we construct a diverse instruction tuning dataset CityInstruction for injecting urban knowledge and enhancing spatial reasoning capability effectively. By using a mixture of CityInstruction and general instruction data, we fine-tune various LLMs (e.g., ChatGLM3-6B, Qwen1.5 and LLama3 series) to enhance their capability without sacrificing general abilities. To further validate the effectiveness of proposed methods, we construct a comprehensive benchmark CityEval to evaluate the capability of LLMs on diverse urban scenarios and problems. Extensive evaluation results demonstrate that small LLMs trained with CityInstruction can achieve competitive performance with commercial LLMs in the comprehensive evaluation of CityEval. The source codes are openly accessible to the research community via https://github.com/tsinghua-fib-lab/CityGPT.
Abstract（参考訳）: 強力な言語生成と推論能力を持つ大規模言語モデル(LLM)は、数学やコード生成など、多くの領域ですでに成功している。しかし、物理世界のコーパスが不足し、訓練中に知識が不足しているため、都市空間における多くの現実的なタスクを解決できないのが普通である。本稿では,都市規模の世界モデルを構築することで,都市空間の理解と関連する都市課題の解決にLLMの能力を高めるための体系的枠組みであるCityGPTを提案する。まず,都市知識を注入し,空間推論能力を効果的に向上するための多様な指導調律データセットCityInstructionを構築した。 City Instructionとジェネラルインストラクションデータを組み合わせて様々なLLM(例えば、ChatGLM3-6B、Qwen1.5、LLama3シリーズ)を微調整し、汎用能力を犠牲にすることなくそれらの能力を向上させる。提案手法の有効性をさらに検証するため,様々な都市シナリオや問題に対するLCMの能力を評価するための総合的なベンチマークCityEvalを構築した。大規模評価の結果,CityEval の総合評価において,CityInstruction で訓練した小型 LLM が商業 LLM と競合する性能を発揮することが示された。ソースコードは https://github.com/tsinghua-fib-lab/CityGPT を通じて公開公開されている。

関連論文リスト

What can LLM tell us about cities? [6.405546719612814]
本研究では,世界規模で都市や地域に関する知識を提供する上で,大規模言語モデル(LLM)の能力について検討する。実験の結果、LLMはグローバルな都市に広範に多様な知識を組み込んでおり、MLモデルはLLMに由来する特徴に基づいて一貫して訓練され、予測精度が向上していることがわかった。
論文参考訳（メタデータ） (2024-11-25T09:07:56Z)
OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents [10.919679349212426]
大規模言語モデル(LLM)は、前例のないリアリズムで都市活動をシミュレートできるLLMエージェントの開発につながっている。システムと迅速な効率の両方に最適化されたスケーラブルなシミュレーションプラットフォームであるOpenCityを提案する。 OpenCityは、エージェント毎の600倍のシミュレーション時間、LLM要求の70%の削減、トークン使用の50%の削減を実現している。
論文参考訳（メタデータ） (2024-10-11T13:52:35Z)
UrBench: A Comprehensive Benchmark for Evaluating Large Multimodal Models in Multi-View Urban Scenarios [60.492736455572015]
複雑な多視点都市シナリオにおけるLMM評価のためのベンチマークであるUrBenchを提案する。 UrBenchには、リージョンレベルとロールレベルの両方で、厳密にキュレートされた11.6Kの質問が含まれている。 21のLMMに対する評価は、現在のLMMが都市環境においていくつかの面で苦戦していることを示している。
論文参考訳（メタデータ） (2024-08-30T13:13:35Z)
CityBench: Evaluating the Capabilities of Large Language Model as World Model [10.22654338686634]
強力な一般化能力を持つ大規模言語モデル(LLM)は、多くの領域で広く使われている。本稿では,対話型シミュレータによる評価プラットフォームであるCityBenchを提案する。本研究では,都市域におけるLLMの都市規模世界モデルとしての能力を評価するために,認識理解と意思決定の2つのカテゴリに7つのタスクを設計する。
論文参考訳（メタデータ） (2024-06-20T02:25:07Z)
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文参考訳（メタデータ） (2024-06-19T00:28:58Z)
Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
論文参考訳（メタデータ） (2024-06-18T22:57:06Z)
UrbanLLM: Autonomous Urban Activity Planning and Management with Large Language Models [20.069378890478763]
UrbanLLMは、都市関連クエリを管理可能なサブタスクに分解することで問題を解決する。サブタスクごとに適切なAIモデルを特定し、与えられたクエリに対する包括的な応答を生成する。
論文参考訳（メタデータ） (2024-06-18T07:41:42Z)
Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文参考訳（メタデータ） (2024-04-18T15:21:34Z)
When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
論文参考訳（メタデータ） (2024-02-16T22:12:53Z)
Large language model empowered participatory urban planning [5.402147437950729]
本研究では,大規模言語モデル(LLM)を参加型プロセスに統合した革新的な都市計画手法を提案する。このフレームワークは、LLMエージェントをベースとして、役割プレイ、共同生成、フィードバックで構成され、コミュニティレベルの土地利用タスクを1000の異なる関心事に対応させて解決する。
論文参考訳（メタデータ） (2024-01-24T10:50:01Z)
KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
論文参考訳（メタデータ） (2023-06-15T17:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。