論文の概要: Optimizing and Fine-tuning Large Language Model for Urban Renewal
- arxiv url: http://arxiv.org/abs/2311.15490v1
- Date: Mon, 27 Nov 2023 02:17:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 17:32:34.886786
- Title: Optimizing and Fine-tuning Large Language Model for Urban Renewal
- Title(参考訳): 都市再生のための最適化と微調整大規模言語モデル
- Authors: Xi Wang, Xianyao Ling, Tom Zhang, Xuecao Li, Shaolan Wang, Zhixing Li,
Liang Zhang, Peng Gong
- Abstract要約: 本研究では,都市再生における大規模言語モデル(LLM)の適用性を検討することを目的とする。
ChatGLMに基づいて,都市再生科学文献コーパスを用いたQAデータセットの自動生成を行う。
LLMを誘導して、素早い単語と与えられたテキストに基づいてQAデータを自動的に生成することにより、都市再生分野におけるデータセットを迅速に取得することができる。
- 参考スコア(独自算出の注目度): 6.105936172585564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study aims to innovatively explore adaptive applications of large
language models (LLM) in urban renewal. It also aims to improve its performance
and text generation quality for knowledge question-answering (QA) tasks. Based
on the ChatGLM, we automatically generate QA datasets using urban renewal
scientific literature corpora in a self-instruct manner and then conduct joint
fine-tuning training on the model using the Prefix and LoRA fine-tuning methods
to create an LLM for urban renewal. By guiding the LLM to automatically
generate QA data based on prompt words and given text, it is possible to
quickly obtain datasets in the urban renewal field and provide data support for
the fine-tuning training of LLMs. The experimental results show that the joint
fine-tuning training method proposed in this study can significantly improve
the performance of LLM on the QA tasks. Compared with LoRA fine-tuning, the
method improves the Bleu and Rouge metrics on the test by about 5%; compared
with the model before fine-tuning, the method improves the Bleu and Rouge
metrics by about 15%-20%. This study demonstrates the effectiveness and
superiority of the joint fine-tuning method using Prefix and LoRA for ChatGLM
in the urban renewal knowledge QA tasks. It provides a new approach for
fine-tuning LLMs on urban renewal-related tasks.
- Abstract(参考訳): 本研究の目的は,都市再生における大規模言語モデル(llm)の適応的応用を革新的に探究することである。
また、知識質問応答(QA)タスクのパフォーマンスとテキスト生成品質の向上も目指している。
ChatGLMに基づいて,都市再生科学文献コーパスを用いたQAデータセットを自動生成し,Prefix法とLoRA法を用いてモデル上で共同微調整訓練を行い,都市再生のためのLLMを作成する。
LLMを誘導して、素早い単語と与えられたテキストに基づいてQAデータを自動的に生成することにより、都市再生分野のデータセットを迅速に取得し、LLMの微調整訓練のためのデータサポートを提供することができる。
本研究で提案した共同微調整訓練法は,QAタスクにおけるLLMの性能を著しく向上させることができることを示す。
LoRAの微調整と比較すると、この手法は試験におけるBleuとRourgeのメトリクスを約5%改善するが、微調整前のモデルと比較すると、BleuとRourgeのメトリクスを約15%から20%改善する。
本研究は,都市再生知識QAタスクにおけるChatGLMのためのPrefixとLoRAを用いた共同微調整法の有効性と優位性を示す。
都市再生関連タスクの微調整 LLM に対する新しいアプローチを提供する。
関連論文リスト
- Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
本稿では,PEFTに基づく量子化モデルの有効性について検討する。
その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
論文 参考訳(メタデータ) (2024-05-01T16:13:54Z) - RepEval: Effective Text Evaluation with LLM Representation [54.07909112633993]
評価のためにLLM表現の投影を利用した最初の計量であるRepEvalを紹介する。
RepEvalはトレーニングに最小限のサンプルペアを必要とし、簡単なプロンプト修正によって、さまざまなタスクに簡単に移行できる。
3つのタスクから得られた10個のデータセットの結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2024-04-30T13:50:55Z) - When Life gives you LLMs, make LLM-ADE: Large Language Models with Adaptive Data Engineering [0.0]
LLM-ADEは、大規模言語モデルのトレーニングを継続するための方法論である。
それは破滅的な忘れと二重降下の課題に対処する。
これは、以前に取得した知識を保持しながら、新しいデータに対するモデル適応性を高める。
論文 参考訳(メタデータ) (2024-04-19T17:43:26Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳(メタデータ) (2024-03-30T10:11:26Z) - GPTA: Generative Prompt Tuning Assistant for Synergistic Downstream Neural Network Enhancement with LLMs [11.572835837392867]
本研究はGPTA(Large Language Model assistance training framework)を導入し,プレフィックスプロンプトによる下流タスクモデルのトレーニングを強化する。
LLMのデータ露出を最小限にすることで、下流タスクモデルトレーニングにLLMを適用する際のセキュリティと法的課題に対処する。
論文 参考訳(メタデータ) (2024-03-29T23:04:04Z) - Large Language Models as Urban Residents: An LLM Agent Framework for
Personal Mobility Generation [20.66295977999949]
本稿では,Large Language Models (LLMs) をエージェントフレームワークに統合した,フレキシブルかつ効率的なパーソナルモビリティ生成手法を提案する。
LLMは、セマンティックデータを効率的に処理し、様々なタスクをモデリングする汎用性を提供することによって、以前のモデルの限界を克服する。
論文 参考訳(メタデータ) (2024-02-22T18:03:14Z) - Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。
本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文 参考訳(メタデータ) (2023-12-01T16:00:25Z) - Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T04:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。