論文の概要: LexGLUE: A Benchmark Dataset for Legal Language Understanding in English
- arxiv url: http://arxiv.org/abs/2110.00976v1
- Date: Sun, 3 Oct 2021 10:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-06 06:21:38.677919
- Title: LexGLUE: A Benchmark Dataset for Legal Language Understanding in English
- Title(参考訳): LexGLUE: 英語の法言語理解のためのベンチマークデータセット
- Authors: Ilias Chalkidis, Abhik Jana, Dirk Hartung, Michael Bommarito, Ion
Androutsopoulos, Daniel Martin Katz, and Nikolaos Aletras
- Abstract要約: 我々は,多種多様なNLUタスクのモデル性能を評価するためのデータセットの集合であるLexGLUEベンチマークを紹介する。
また、複数の汎用的および法的指向モデルの評価と分析を行い、後者が複数のタスクにまたがるパフォーマンス改善を一貫して提供することを示した。
- 参考スコア(独自算出の注目度): 15.026117429782996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Law, interpretations of law, legal arguments, agreements, etc. are typically
expressed in writing, leading to the production of vast corpora of legal text.
Their analysis, which is at the center of legal practice, becomes increasingly
elaborate as these collections grow in size. Natural language understanding
(NLU) technologies can be a valuable tool to support legal practitioners in
these endeavors. Their usefulness, however, largely depends on whether current
state-of-the-art models can generalize across various tasks in the legal
domain. To answer this currently open question, we introduce the Legal General
Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets
for evaluating model performance across a diverse set of legal NLU tasks in a
standardized way. We also provide an evaluation and analysis of several generic
and legal-oriented models demonstrating that the latter consistently offer
performance improvements across multiple tasks.
- Abstract(参考訳): 法律、法律の解釈、法的議論、合意などは通常、書面で表現され、法文の膨大なコーパスが生み出される。
彼らの分析は、法律実務の中心にあり、これらのコレクションのサイズが大きくなるにつれて、ますます精巧になっていく。
自然言語理解(NLU)技術は、これらの取り組みにおける法的実践者を支援する貴重なツールとなり得る。
しかし、それらの有用性は、現在の最先端モデルが法域内の様々なタスクにまたがって一般化できるかどうかに大きく依存する。
現在公開されているこの疑問に答えるために、我々は、さまざまな法的NLUタスクの集合にわたるモデルパフォーマンスを評価するデータセットの集合であるLexGLUEベンチマーク(LexGLUE)を紹介する。
また,複数タスクにまたがる性能改善が一貫して実現されていることを示す,いくつかの汎用的および法的なモデルの評価と分析も提供する。
関連論文リスト
- BLT: Can Large Language Models Handle Basic Legal Text? [50.46167465931653]
GPT-4、Claude、PaLM 2は基本的な法的テキスト処理では性能が良くない。
これらのタスクの微調整は、テストセット上でのほぼ完全なパフォーマンスにさらに小さなモデルをもたらします。
論文 参考訳(メタデータ) (2023-11-16T09:09:22Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - SCALE: Scaling up the Complexity for Advanced Language Model Evaluation [19.339580164451256]
現在のLarge Language Models (LLM) に課題をもたらす新しい NLP ベンチマークを導入する。
我々のベンチマークはスイスの法体系の様々な法的NLPデータセットで構成されている。
本研究の一環として,ベンチマークで事前学習した複数言語モデルを評価し,基準点として強いベースラインを確立する。
論文 参考訳(メタデータ) (2023-06-15T16:19:15Z) - LeXFiles and LegalLAMA: Facilitating English Multinational Legal
Language Model Development [8.931169262582442]
法律指向事前学習言語モデル(PLM)の性能に関する詳細な分析を行う。
本研究は, 本来の目的, 獲得した知識, 法的言語理解能力の相互作用について検討する。
関連する法的トピックにおいて,提案性能は上流のパフォーマンスと強く相関していることが判明した。
論文 参考訳(メタデータ) (2023-05-12T14:21:38Z) - Unlocking Practical Applications in Legal Domain: Evaluation of GPT for
Zero-Shot Semantic Annotation of Legal Texts [0.0]
我々は、短いテキストスニペットのセマンティックアノテーションを実行するための、最先端の生成事前学習トランスフォーマ(GPT)モデルの有効性を評価する。
その結果、GPTモデルは様々な種類の文書のゼロショット設定において驚くほどよく機能することがわかった。
論文 参考訳(メタデータ) (2023-05-08T01:55:53Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T10:47:01Z) - The Legal Argument Reasoning Task in Civil Procedure [2.079168053329397]
我々は,米国民事訴訟の領域から新たなNLPタスクとデータセットを提示する。
データセットの各インスタンスは、ケースの一般的な導入、特定の質問、可能な解決策引数で構成されている。
論文 参考訳(メタデータ) (2022-11-05T17:41:00Z) - Benchmarking Generalization via In-Context Instructions on 1,600+
Language Tasks [95.06087720086133]
Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。
ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。
このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
論文 参考訳(メタデータ) (2022-04-16T03:12:30Z) - Legal Search in Case Law and Statute Law [12.697393184074457]
本稿では,典型的法的文書収集の文脈において,文書の相互関連性を識別する手法について述べる。
本稿では、教師あり教師なし学習を含む一般化言語モデルの使用状況について概観する。
論文 参考訳(メタデータ) (2021-08-23T12:51:24Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。