論文の概要: Developing a Pragmatic Benchmark for Assessing Korean Legal Language Understanding in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.08731v1
• Date: Fri, 11 Oct 2024 11:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 22:15:28.802587
• Title: Developing a Pragmatic Benchmark for Assessing Korean Legal Language Understanding in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける韓国法言語理解のための実践的ベンチマークの開発
• Authors: Yeeun Kim, Young Rok Choi, Eunkyung Choi, Jinhwan Choi, Hai Jin Park, Wonseok Hwang,
• Abstract要約: 大規模言語モデル (LLM) は法域において顕著な性能を示した。 しかし、その効力は英語以外の言語における非標準化されたタスクやタスクに限られている。 このことは、適用前に各法体系内でのLCMの慎重な評価の必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 7.797885529152412
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable performance in the legal domain, with GPT-4 even passing the Uniform Bar Exam in the U.S. However their efficacy remains limited for non-standardized tasks and tasks in languages other than English. This underscores the need for careful evaluation of LLMs within each legal system before application. Here, we introduce KBL, a benchmark for assessing the Korean legal language understanding of LLMs, consisting of (1) 7 legal knowledge tasks (510 examples), (2) 4 legal reasoning tasks (288 examples), and (3) the Korean bar exam (4 domains, 53 tasks, 2,510 examples). First two datasets were developed in close collaboration with lawyers to evaluate LLMs in practical scenarios in a certified manner. Furthermore, considering legal practitioners' frequent use of extensive legal documents for research, we assess LLMs in both a closed book setting, where they rely solely on internal knowledge, and a retrieval-augmented generation (RAG) setting, using a corpus of Korean statutes and precedents. The results indicate substantial room and opportunities for improvement.
• Abstract（参考訳）: 大規模言語モデル (LLM) は法域において顕著な性能を示しており、GPT-4 は米国におけるUniform Bar Exam をパスしている。 しかし、その効力は英語以外の言語における非標準化されたタスクやタスクに限られている。 このことは、適用前に各法体系内でのLCMの慎重な評価の必要性を浮き彫りにしている。 ここでは,(1)法的知識タスク(510例),(2)法的推論タスク(288例),(3)韓国の司法試験(4ドメイン,53タスク,2,510例)からなる,LLMの韓国語法的理解を評価するためのベンチマークであるKBLを紹介する。 最初の2つのデータセットは、弁護士と密接なコラボレーションで開発され、現実的なシナリオにおいて、認定された方法でLSMを評価する。 さらに, 法律実務者が研究に多用する広範囲な法律文書について考察し, 内部知識にのみ依存する閉書環境と, 韓国法や先例のコーパスを用いて, 検索強化世代(RAG)環境の両面からLCMを評価した。 結果は、改善の余地と機会を示している。

関連論文リスト

• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
  InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。 われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。 InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-06-21T06:19:03Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)
• LawBench: Benchmarking Legal Knowledge of Large Language Models [35.2812008533622]
  大規模言語モデル(LLM)は様々な面で強力な能力を示している。 法的知識がどの程度あるか、そして法的関連タスクを確実に実行できるかは不明だ。 ローベンチは、3つの認知レベルからLLMの法的な能力を正確に評価するために細心の注意を払って設計されている。
  論文  参考訳（メタデータ） (2023-09-28T09:35:59Z)
• Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence [5.07013500385659]
  本稿では,税法の適用におけるLarge Language Models(LLM)の機能について考察する。 実験では,その後のOpenAIモデルリリースにおけるパフォーマンスの向上とともに,新たな法的理解能力を実証した。 発見は、特に拡張の促進と正しい法的文書と組み合わせることで、高いレベルの精度で実行可能であるが、専門家の税務弁護士レベルではまだ実行できないことを示している。
  論文  参考訳（メタデータ） (2023-06-12T12:40:48Z)
• SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval [75.05173891207214]
  判例検索は知的法体系において中心的な役割を果たす。 既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。 本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T10:47:01Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。