論文の概要: Interpretable Long-Form Legal Question Answering with
Retrieval-Augmented Large Language Models
- arxiv url: http://arxiv.org/abs/2309.17050v1
- Date: Fri, 29 Sep 2023 08:23:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 15:07:32.006897
- Title: Interpretable Long-Form Legal Question Answering with
Retrieval-Augmented Large Language Models
- Title（参考訳）: 検索拡張大言語モデルを用いた解釈可能な長期法的問合せ
- Authors: Antoine Louis, Gijs van Dijck, Gerasimos Spanakis
- Abstract要約: 長文の法的問合せデータセットは、専門家によるフランス語の法的質問1,868件からなる。
実験結果から,自動評価指標について有望な性能を示した。
LLeQAは、専門家によって注釈付けされた唯一の包括的なロングフォームLQAデータセットの1つであり、重要な現実世界の問題を解決するために研究を加速するだけでなく、特殊な領域におけるNLPモデルを評価するための厳密なベンチマークとしても機能する可能性がある。
- 参考スコア（独自算出の注目度）: 10.834755282333589
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many individuals are likely to face a legal dispute at some point in their
lives, but their lack of understanding of how to navigate these complex issues
often renders them vulnerable. The advancement of natural language processing
opens new avenues for bridging this legal literacy gap through the development
of automated legal aid systems. However, existing legal question answering
(LQA) approaches often suffer from a narrow scope, being either confined to
specific legal domains or limited to brief, uninformative responses. In this
work, we propose an end-to-end methodology designed to generate long-form
answers to any statutory law questions, utilizing a "retrieve-then-read"
pipeline. To support this approach, we introduce and release the Long-form
Legal Question Answering (LLeQA) dataset, comprising 1,868 expert-annotated
legal questions in the French language, complete with detailed answers rooted
in pertinent legal provisions. Our experimental results demonstrate promising
performance on automatic evaluation metrics, but a qualitative analysis
uncovers areas for refinement. As one of the only comprehensive,
expert-annotated long-form LQA dataset, LLeQA has the potential to not only
accelerate research towards resolving a significant real-world issue, but also
act as a rigorous benchmark for evaluating NLP models in specialized domains.
We publicly release our code, data, and models.
- Abstract（参考訳）: 多くの個人は、人生のある時点で法的紛争に直面する可能性が高いが、これらの複雑な問題をいかにナビゲートするかの理解の欠如は、しばしばそれらを脆弱にする。
自然言語処理の進歩は、法的リテラシーのギャップを埋めるための新しい道を開いた。
しかしながら、既存の法的質問応答 (LQA) アプローチは、特定の法的領域に限定されるか、簡潔で非形式的な応答に限られている、狭い範囲に悩まされることが多い。
そこで本研究では,あらゆる法定問題に対する長文回答を生成するために,「再読解」パイプラインを用いたエンドツーエンド手法を提案する。
このアプローチを支援するために,フランス語で1,868人の専門家が注釈付けした法的質問を含むLong-form Legal Question Answering (LLeQA)データセットを導入,リリースする。
実験の結果, 自動評価指標で有望な性能を示すが, 定性解析により改良すべき領域が明らかにされる。
LLeQAは、専門分野のNLPモデルを評価するための厳密なベンチマークとして機能するだけでなく、重要な現実世界の問題を解決するための研究を加速する可能性を持っている。
私たちはコード、データ、モデルを公開します。
関連論文リスト
- LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。
類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている
そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
論文 参考訳（メタデータ） (2024-07-27T21:51:30Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [18.058942674792604]
本稿では,訴訟の関連判断に適した新規な数ショットワークフローを提案する。
LLMと人的専門家の関連判断を比較することで,信頼性の高い関連判断が得られたことを実証的に示す。
論文 参考訳（メタデータ） (2024-03-27T09:46:56Z) - Intention and Context Elicitation with Large Language Models in the
Legal Aid Intake Process [0.7252027234425334]
本稿では,Large Language Models (LLMs) を用いた概念実証を行い,クライアントの基本的な意図と特定の法的事情を推論する。
また,教師付き微調整学習やオフライン強化学習を用いて意図と文脈の推論を自動的に組み込むための今後の研究方向を提案する。
論文 参考訳（メタデータ） (2023-11-22T10:04:29Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳（メタデータ） (2023-10-18T07:38:04Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳（メタデータ） (2023-10-13T16:47:20Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - Exploring the State of the Art in Legal QA Systems [20.178251855026684]
質問応答システム(QA)は、人間の言語で質問された質問に対する回答を生成するように設計されている。
QAには、カスタマーサービス、教育、研究、言語間コミュニケーションなど、さまざまな実践的応用がある。
法分野における質問応答のための14のベンチマークデータセットをレビューする包括的調査を提供する。
論文 参考訳（メタデータ） (2023-04-13T15:48:01Z) - The Legal Argument Reasoning Task in Civil Procedure [2.079168053329397]
我々は,米国民事訴訟の領域から新たなNLPタスクとデータセットを提示する。
データセットの各インスタンスは、ケースの一般的な導入、特定の質問、可能な解決策引数で構成されている。
論文 参考訳（メタデータ） (2022-11-05T17:41:00Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。