論文の概要: LAiW: A Chinese Legal Large Language Models Benchmark (A Technical
Report)
- arxiv url: http://arxiv.org/abs/2310.05620v1
- Date: Mon, 9 Oct 2023 11:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 05:18:32.375258
- Title: LAiW: A Chinese Legal Large Language Models Benchmark (A Technical
Report)
- Title(参考訳): laiw: 中国の法的大規模言語モデルベンチマーク(技術報告)
- Authors: Yongfu Dai, Duanyu Feng, Jimin Huang, Haochen Jia, Qianqian Xie,
Yifang Zhang, Weiguang Han, Wei Tian, Hao Wang
- Abstract要約: 法的な能力に基づく最初の中国法 LLM ベンチマークを提案する。
LLMの法的な能力は、基本法的なNLP能力、基本法的な応用能力、複雑な法的な応用能力の3つのレベルに分けられる。
- 参考スコア(独自算出の注目度): 17.66376880475554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the emergence of numerous legal LLMs, there is currently a lack of a
comprehensive benchmark for evaluating their legal abilities. In this paper, we
propose the first Chinese Legal LLMs benchmark based on legal capabilities.
Through the collaborative efforts of legal and artificial intelligence experts,
we divide the legal capabilities of LLMs into three levels: basic legal NLP
capability, basic legal application capability, and complex legal application
capability. We have completed the first phase of evaluation, which mainly
focuses on the capability of basic legal NLP. The evaluation results show that
although some legal LLMs have better performance than their backbones, there is
still a gap compared to ChatGPT. Our benchmark can be found at URL.
- Abstract(参考訳): 多数の法的 LLM の出現に伴い、現在、法的能力を評価するための包括的なベンチマークが欠如している。
本稿では,法律能力に基づく最初の中国の法律LLMベンチマークを提案する。
法と人工知能の専門家の協力によって、LLMの法的な能力は、基本的な法的なNLP能力、基本的な法的な応用能力、複雑な法的な応用能力の3つのレベルに分けられる。
我々は,基本法的なNLPの能力を中心に,評価の第1段階を完了した。
以上の結果から,一部の法的LLMは背骨よりも優れた性能を示したが,ChatGPTと比較してまだギャップがあることがわかった。
ベンチマークはURLで確認できます。
関連論文リスト
- A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。
我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。
これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文 参考訳(メタデータ) (2024-05-02T22:43:02Z) - BLT: Can Large Language Models Handle Basic Legal Text? [50.46167465931653]
GPT-4、Claude、PaLM 2は基本的な法的テキスト処理では性能が良くない。
これらのタスクの微調整は、テストセット上でのほぼ完全なパフォーマンスにさらに小さなモデルをもたらします。
論文 参考訳(メタデータ) (2023-11-16T09:09:22Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳(メタデータ) (2023-10-18T07:38:04Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - LawBench: Benchmarking Legal Knowledge of Large Language Models [35.2812008533622]
大規模言語モデル(LLM)は様々な面で強力な能力を示している。
法的知識がどの程度あるか、そして法的関連タスクを確実に実行できるかは不明だ。
ローベンチは、3つの認知レベルからLLMの法的な能力を正確に評価するために細心の注意を払って設計されている。
論文 参考訳(メタデータ) (2023-09-28T09:35:59Z) - LegalBench: A Collaboratively Built Benchmark for Measuring Legal
Reasoning in Large Language Models [15.98468948605927]
LegalBenchは6種類の法的推論をカバーする162のタスクからなるベンチマークである。
本稿では、LegalBenchについて述べるとともに、20のオープンソースおよび商用LCMの実証的な評価を行い、LegalBenchがもたらす研究のタイプについて説明する。
論文 参考訳(メタデータ) (2023-08-20T22:08:03Z) - Large Language Models as Tax Attorneys: A Case Study in Legal
Capabilities Emergence [5.07013500385659]
本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。
実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。
発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
論文 参考訳(メタデータ) (2023-06-12T12:40:48Z) - A Short Survey of Viewing Large Language Models in Legal Aspect [0.0]
大規模言語モデル(LLM)は、自然言語処理、コンピュータビジョン、強化学習など、多くの分野に変化をもたらした。
LLMの法的分野への統合は、プライバシーの懸念、偏見、説明可能性など、いくつかの法的問題を引き起こしている。
論文 参考訳(メタデータ) (2023-03-16T08:01:22Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z) - How Does NLP Benefit Legal System: A Summary of Legal Artificial
Intelligence [81.04070052740596]
法律人工知能(Legal AI)は、人工知能、特に自然言語処理の技術を適用して、法的領域におけるタスクに役立てることに焦点を当てている。
本稿では,LegalAIにおける研究の歴史,現状,今後の方向性について紹介する。
論文 参考訳(メタデータ) (2020-04-25T14:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。