論文の概要: Unsupervised Law Article Mining based on Deep Pre-Trained Language
Representation Models with Application to the Italian Civil Code
- arxiv url: http://arxiv.org/abs/2112.03033v1
- Date: Thu, 2 Dec 2021 11:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 14:20:48.756764
- Title: Unsupervised Law Article Mining based on Deep Pre-Trained Language
Representation Models with Application to the Italian Civil Code
- Title（参考訳）: 深層事前学習された言語表現モデルに基づく教師なし法律記事のマイニングとイタリア民法への応用
- Authors: Andrea Tagarelli, Andrea Simeri
- Abstract要約: 本研究では,BERT学習フレームワークに基づくイタリア法体系の法律記事予測への高度アプローチを提案する。
LamBERTa モデルは,イタリアの民法又はその部分に基づいて事前訓練された BERT を微調整することにより,法律項目の検索を分類タスクとして定義する。
本稿では,MPBERTaモデルの説明可能性と解釈可能性について考察し,異なるタイプの問合せ集合に関する広範な実験的検討を行った。
- 参考スコア（独自算出の注目度）: 3.9342247746757435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling law search and retrieval as prediction problems has recently emerged
as a predominant approach in law intelligence. Focusing on the law article
retrieval task, we present a deep learning framework named LamBERTa, which is
designed for civil-law codes, and specifically trained on the Italian civil
code. To our knowledge, this is the first study proposing an advanced approach
to law article prediction for the Italian legal system based on a BERT
(Bidirectional Encoder Representations from Transformers) learning framework,
which has recently attracted increased attention among deep learning
approaches, showing outstanding effectiveness in several natural language
processing and learning tasks. We define LamBERTa models by fine-tuning an
Italian pre-trained BERT on the Italian civil code or its portions, for law
article retrieval as a classification task. One key aspect of our LamBERTa
framework is that we conceived it to address an extreme classification
scenario, which is characterized by a high number of classes, the few-shot
learning problem, and the lack of test query benchmarks for Italian legal
prediction tasks. To solve such issues, we define different methods for the
unsupervised labeling of the law articles, which can in principle be applied to
any law article code system. We provide insights into the explainability and
interpretability of our LamBERTa models, and we present an extensive
experimental analysis over query sets of different type, for single-label as
well as multi-label evaluation tasks. Empirical evidence has shown the
effectiveness of LamBERTa, and also its superiority against widely used
deep-learning text classifiers and a few-shot learner conceived for an
attribute-aware prediction task.
- Abstract（参考訳）: 予測問題としての法検索と検索のモデル化は、近年、法知性において主要なアプローチとして浮上している。
本稿では,法律記事検索タスクに着目し,民法コード用に設計され,特にイタリア民法に基づいて訓練されたlambertaという深層学習フレームワークを提案する。
我々の知る限りでは、BERT(Bidirectional Encoder Representations from Transformers)学習フレームワークに基づくイタリアの法体系に関する法律記事予測への先進的なアプローチを提案する最初の研究であり、近年、深層学習のアプローチに注目が集まっており、いくつかの自然言語処理や学習タスクにおいて顕著な効果を示している。
LamBERTa モデルは,イタリアの民法又はその部分に基づいて事前訓練された BERT を微調整することにより,法律項目の検索を分類タスクとして定義する。
LamBERTaフレームワークの1つの重要な側面は、多数のクラス、数ショットの学習問題、イタリアの法定予測タスクに対するテストクエリベンチマークの欠如を特徴とする、極端な分類シナリオに対処するためにこれを考案したことです。
このような問題を解決するために、法律記事の無監督ラベル付けのための異なる方法を定義し、原則としてあらゆる法律記事コードシステムに適用することができる。
我々は LamBERTa モデルの説明可能性と解釈可能性に関する知見を提供し,複数ラベル評価タスクだけでなく,異なるタイプのクエリセットに対する広範な実験分析を行った。
LamBERTaの有効性や、広く使われているディープラーニングテキスト分類器や属性認識予測タスクのために考案された数発の学習者に対する優位性を示す実証的な証拠がある。
関連論文リスト
- A Multi-Source Heterogeneous Knowledge Injected Prompt Learning Method for Legal Charge Prediction [3.52209555388364]
本稿では,ケース記述をモデル化するための素早い学習フレームワークに基づく手法を提案する。
我々は,法的知識ベース,会話型LLM,法的記事から多元的外部知識を活用する。
提案手法は,CAIL-2018の法定電荷予測データセットとして最大である。
論文 参考訳（メタデータ） (2024-08-05T04:53:17Z) - Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。
本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。
その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文 参考訳（メタデータ） (2024-07-30T08:50:16Z) - LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。
類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている
そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
論文 参考訳（メタデータ） (2024-07-27T21:51:30Z) - Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。
本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文 参考訳（メタデータ） (2024-04-09T11:39:53Z) - Do Language Models Learn about Legal Entity Types during Pretraining? [4.604003661048267]
Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。
Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
論文 参考訳（メタデータ） (2023-10-19T18:47:21Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳（メタデータ） (2023-10-13T16:47:20Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - AraLegal-BERT: A pretrained language model for Arabic Legal text [0.399013650624183]
AraLegal-BERTは双方向エンコーダトランスフォーマーベースのモデルで、徹底的にテストされ、慎重に最適化されている。
AraLegal-BERTを微調整し、3つの自然言語理解(NLU)タスクにおいて、アラビア語の3つのBERT変種に対して評価した。
その結果、AraLegal-BERTのベースバージョンは、法典テキストよりも一般的なBERTよりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-10-15T13:08:40Z) - Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better
Language Models for Code Understanding [3.98345038769576]
フォーラムの投稿で、質問に対する最良の回答を予測するなどのタスクに基づいて、コード理解を評価するためのベンチマークのセットを導出します。
我々は,これらのタスクにおける現状の言語モデルの性能を評価し,微調整による各タスクの大幅な改善を示す。
論文 参考訳（メタデータ） (2021-09-15T17:42:44Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。