論文の概要: LeKUBE: A Legal Knowledge Update BEnchmark
- arxiv url: http://arxiv.org/abs/2407.14192v1
- Date: Fri, 19 Jul 2024 10:40:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:54:18.934482
- Title: LeKUBE: A Legal Knowledge Update BEnchmark
- Title（参考訳）: LeKUBE: 法的な知識のアップデートベンチマーク
- Authors: Changyue Wang, Weihang Su, Hu Yiran, Qingyao Ai, Yueyue Wu, Cheng Luo, Yiqun Liu, Min Zhang, Shaoping Ma,
- Abstract要約: LLM(Large Language Models)の法的な知識をどう更新するかは、実際重要な研究課題となっている。
知識更新手法を評価するための既存のベンチマークは、主にオープンドメイン向けに設計されている。
法定LLMの知識更新手法を5次元にわたって評価する法定知識更新ベンチマーク(LeKUBE)を導入する。
- 参考スコア（独自算出の注目度）: 30.62956609611883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in Large Language Models (LLMs) have significantly shaped the applications of AI in multiple fields, including the studies of legal intelligence. Trained on extensive legal texts, including statutes and legal documents, the legal LLMs can capture important legal knowledge/concepts effectively and provide important support for downstream legal applications such as legal consultancy. Yet, the dynamic nature of legal statutes and interpretations also poses new challenges to the use of LLMs in legal applications. Particularly, how to update the legal knowledge of LLMs effectively and efficiently has become an important research problem in practice. Existing benchmarks for evaluating knowledge update methods are mostly designed for the open domain and cannot address the specific challenges of the legal domain, such as the nuanced application of new legal knowledge, the complexity and lengthiness of legal regulations, and the intricate nature of legal reasoning. To address this gap, we introduce the Legal Knowledge Update BEnchmark, i.e. LeKUBE, which evaluates knowledge update methods for legal LLMs across five dimensions. Specifically, we categorize the needs of knowledge updates in the legal domain with the help of legal professionals, and then hire annotators from law schools to create synthetic updates to the Chinese Criminal and Civil Code as well as sets of questions of which the answers would change after the updates. Through a comprehensive evaluation of state-of-the-art knowledge update methods, we reveal a notable gap between existing knowledge update methods and the unique needs of the legal domain, emphasizing the need for further research and development of knowledge update mechanisms tailored for legal LLMs.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、法的な知性の研究を含む、複数の分野におけるAIの応用を大きく形作っている。
法規や法的文書を含む広範な法的文書に基づいて訓練された法律LLMは、重要な法的知識/概念を効果的に捉え、法律コンサルタントのような下流の法的応用に対する重要な支援を提供する。
しかし、法規や解釈の動的な性質は、法的な応用にLLMを使うことに新たな課題をもたらす。
特に, LLMの法的知識を効果的かつ効率的に更新する方法は, 実際に重要な研究課題となっている。
知識更新手法を評価するための既存のベンチマークは、主にオープンドメインのために設計されており、新しい法的な知識の曖昧な適用、法的な規制の複雑さと長所性、そして法的な推論の複雑な性質など、法的な領域の特定の課題に対処できない。
このギャップに対処するために、法的なLLMの知識更新手法を5次元にわたって評価する法的な知識更新ベンチマーク(LeKUBE)を導入する。
具体的には、法律専門家の助けを借りて、法律分野における知識更新の必要性を分類し、その後、法律学校からアノテータを雇い、中国刑事民法を総合的に更新すると同時に、その更新後にどの回答が変わるかという一連の質問を行う。
現状の知識更新手法を総合的に評価することにより,既存の知識更新手法と法域のユニークなニーズとの間に顕著なギャップを生じさせ,法的LLMに適した知識更新機構のさらなる研究・開発の必要性を強調した。
関連論文リスト
- LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。
類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている
そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
論文 参考訳（メタデータ） (2024-07-27T21:51:30Z) - Optimizing Numerical Estimation and Operational Efficiency in the Legal Domain through Large Language Models [13.067312163677933]
本稿では,Large Language Modelsと特殊設計のプロンプトを統合して,法的な人工知能(LegalAI)アプリケーションにおける精度要件に対処する手法を提案する。
本手法を検証するために,精度指向の LegalAI タスクに適したキュレートデータセットを提案する。
論文 参考訳（メタデータ） (2024-07-26T18:46:39Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - Large Language Models in Law: A Survey [34.785207813971134]
法的大規模言語モデル(LLM)の適用は、まだ初期段階にある。
法分野におけるAI技術の概観と,LLMにおける最近の研究成果を紹介する。
我々は、データ、アルゴリズム、司法実務を含む法的LLMの制限について検討する。
論文 参考訳（メタデータ） (2023-11-26T00:48:12Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳（メタデータ） (2023-10-18T07:38:04Z) - LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。
われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
論文 参考訳（メタデータ） (2023-10-09T11:19:55Z) - Large Language Models as Tax Attorneys: A Case Study in Legal
Capabilities Emergence [5.07013500385659]
本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。
実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。
発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
論文 参考訳（メタデータ） (2023-06-12T12:40:48Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - A Short Survey of Viewing Large Language Models in Legal Aspect [0.0]
大規模言語モデル(LLM)は、自然言語処理、コンピュータビジョン、強化学習など、多くの分野に変化をもたらした。
LLMの法的分野への統合は、プライバシーの懸念、偏見、説明可能性など、いくつかの法的問題を引き起こしている。
論文 参考訳（メタデータ） (2023-03-16T08:01:22Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z) - How Does NLP Benefit Legal System: A Summary of Legal Artificial
Intelligence [81.04070052740596]
法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。
本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
論文 参考訳（メタデータ） (2020-04-25T14:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。