論文の概要: Lawyer LLaMA Technical Report
- arxiv url: http://arxiv.org/abs/2305.15062v2
- Date: Sat, 14 Oct 2023 02:14:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 23:04:51.207076
- Title: Lawyer LLaMA Technical Report
- Title(参考訳): 弁護士LLaMA技術報告
- Authors: Quzhe Huang, Mingxu Tao, Chen Zhang, Zhenwei An, Cong Jiang, Zhibin
Chen, Zirui Wu, Yansong Feng
- Abstract要約: 大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
しかし、法律や医学のような特定のドメインにデプロイする場合、モデルはまだドメイン固有の知識が不足しているという課題に直面している。
特定のドメインにLLMを適用するための新しいフレームワークを提案し,法的ドメインLLMであるLawyer LLaMAを構築した。
- 参考スコア(独自算出の注目度): 32.27632750736859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs), like LLaMA, have exhibited remarkable
performance across various tasks. Nevertheless, when deployed to specific
domains such as law or medicine, the models still confront the challenge of a
deficiency in domain-specific knowledge and an inadequate capability to
leverage that knowledge to resolve domain-related problems. In this paper, we
propose a new framework to adapt LLMs to specific domains and build Lawyer
LLaMA, a legal domain LLM, based on this framework. Specifically, we inject
domain knowledge during the continual training stage and teach the model to
learn professional skills using properly designed supervised fine-tuning tasks.
Moreover, to alleviate the hallucination problem during the model's generation,
we add a retrieval module and extract relevant legal articles before the model
answers any queries. When learning domain-specific skills, we find that
experts' experience is much more useful than experiences distilled from
ChatGPT, where hundreds of expert-written data outperform tens of thousands of
ChatGPT-generated ones. We will release our model and data.
- Abstract(参考訳): LLaMAのような大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
それでも、法律や医学などの特定の領域に展開する場合、モデルはまだドメイン固有の知識の不足や、ドメイン関連の問題を解決するためにその知識を活用する能力の不足という課題に直面しています。
本稿では,特定のドメインにLLMを適用するための新しいフレームワークを提案し,このフレームワークをベースとした法的ドメインLLMであるLawyer LLaMAを構築する。
具体的には、継続トレーニング段階でドメイン知識を注入し、適切に設計された教師付き微調整タスクを用いて専門的スキルを学ぶモデルを教える。
さらに,モデル生成時の幻覚問題を緩和するために,検索モジュールを追加し,モデルがクエリに答える前に関連する法的項目を抽出する。
ドメイン固有のスキルを学ぶとき、専門家の経験は、何百もの専門家が書いたデータが、何万ものchatgptが生成するスキルよりもずっと役に立つことが分かりました。
モデルとデータをリリースします。
関連論文リスト
- BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。
従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。
BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文 参考訳(メタデータ) (2024-03-27T08:57:21Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of
LLMs [51.17542331993448]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - On the Effectiveness of Large Language Models in Domain-Specific Code Generation [20.61882220430463]
ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
本稿では,ドメイン固有コード生成におけるLLMの詳細な研究を行う。
コード生成プロセスにAPI知識を効率的に組み込む方法について検討する。
論文 参考訳(メタデータ) (2023-12-04T05:41:02Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳(メタデータ) (2023-11-17T16:09:10Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - KALA: Knowledge-Augmented Language Model Adaptation [65.92457495576141]
プレトレーニング言語モデル(PLM)のための新しいドメイン適応フレームワークを提案する。
知識拡張言語モデル適応(英: Knowledge-Augmented Language Model Adaptation, KALA)は、PLMの中間的隠れ表現をドメイン知識で修飾する。
計算効率は高いが,我々のKALAは適応型事前学習よりも優れていた。
論文 参考訳(メタデータ) (2022-04-22T08:11:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。