論文の概要: Optimizing and Fine-tuning Large Language Model for Urban Renewal
- arxiv url: http://arxiv.org/abs/2311.15490v1
- Date: Mon, 27 Nov 2023 02:17:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 17:32:34.886786
- Title: Optimizing and Fine-tuning Large Language Model for Urban Renewal
- Title（参考訳）: 都市再生のための最適化と微調整大規模言語モデル
- Authors: Xi Wang, Xianyao Ling, Tom Zhang, Xuecao Li, Shaolan Wang, Zhixing Li,
Liang Zhang, Peng Gong
- Abstract要約: 本研究では,都市再生における大規模言語モデル(LLM)の適用性を検討することを目的とする。
ChatGLMに基づいて,都市再生科学文献コーパスを用いたQAデータセットの自動生成を行う。
LLMを誘導して、素早い単語と与えられたテキストに基づいてQAデータを自動的に生成することにより、都市再生分野におけるデータセットを迅速に取得することができる。
- 参考スコア（独自算出の注目度）: 6.105936172585564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study aims to innovatively explore adaptive applications of large
language models (LLM) in urban renewal. It also aims to improve its performance
and text generation quality for knowledge question-answering (QA) tasks. Based
on the ChatGLM, we automatically generate QA datasets using urban renewal
scientific literature corpora in a self-instruct manner and then conduct joint
fine-tuning training on the model using the Prefix and LoRA fine-tuning methods
to create an LLM for urban renewal. By guiding the LLM to automatically
generate QA data based on prompt words and given text, it is possible to
quickly obtain datasets in the urban renewal field and provide data support for
the fine-tuning training of LLMs. The experimental results show that the joint
fine-tuning training method proposed in this study can significantly improve
the performance of LLM on the QA tasks. Compared with LoRA fine-tuning, the
method improves the Bleu and Rouge metrics on the test by about 5%; compared
with the model before fine-tuning, the method improves the Bleu and Rouge
metrics by about 15%-20%. This study demonstrates the effectiveness and
superiority of the joint fine-tuning method using Prefix and LoRA for ChatGLM
in the urban renewal knowledge QA tasks. It provides a new approach for
fine-tuning LLMs on urban renewal-related tasks.
- Abstract（参考訳）: 本研究の目的は,都市再生における大規模言語モデル(llm)の適応的応用を革新的に探究することである。
また、知識質問応答(QA)タスクのパフォーマンスとテキスト生成品質の向上も目指している。
ChatGLMに基づいて,都市再生科学文献コーパスを用いたQAデータセットを自動生成し,Prefix法とLoRA法を用いてモデル上で共同微調整訓練を行い,都市再生のためのLLMを作成する。
LLMを誘導して、素早い単語と与えられたテキストに基づいてQAデータを自動的に生成することにより、都市再生分野のデータセットを迅速に取得し、LLMの微調整訓練のためのデータサポートを提供することができる。
本研究で提案した共同微調整訓練法は,QAタスクにおけるLLMの性能を著しく向上させることができることを示す。
LoRAの微調整と比較すると、この手法は試験におけるBleuとRourgeのメトリクスを約5%改善するが、微調整前のモデルと比較すると、BleuとRourgeのメトリクスを約15%から20%改善する。
本研究は,都市再生知識QAタスクにおけるChatGLMのためのPrefixとLoRAを用いた共同微調整法の有効性と優位性を示す。
都市再生関連タスクの微調整 LLM に対する新しいアプローチを提供する。
関連論文リスト
- Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳（メタデータ） (2024-11-21T02:30:53Z) - AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する
これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。
このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
論文 参考訳（メタデータ） (2024-11-11T09:03:52Z) - Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。
KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
論文 参考訳（メタデータ） (2024-06-20T13:07:38Z) - CityGPT: Empowering Urban Spatial Cognition of Large Language Models [7.40606412920065]
強力な言語生成と推論機能を備えた大規模言語モデル(LLM)は、すでに多くのドメインで成功している。
しかし、物理世界のコーパスが不足し、訓練中に知識が不足しているため、都市空間における多くの現実的なタスクを解決できないのが普通である。
都市空間の理解と関連する都市課題の解決におけるLCMの能力向上のための体系的枠組みであるCityGPTを提案する。
論文 参考訳（メタデータ） (2024-06-20T02:32:16Z) - Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。
その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文 参考訳（メタデータ） (2024-05-01T16:13:54Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-04-18T15:21:34Z) - GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs [11.572835837392867]
本研究はGPTA(Large Language Model assistance training framework)を導入し,プレフィックスプロンプトによる下流タスクモデルのトレーニングを強化する。
LLMのデータ露出を最小限にすることで、下流タスクモデルトレーニングにLLMを適用する際のセキュリティと法的課題に対処する。
論文 参考訳（メタデータ） (2024-03-29T23:04:04Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳（メタデータ） (2024-02-02T12:34:09Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳（メタデータ） (2023-12-01T16:00:25Z) - Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-02T04:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。