論文の概要: Unsupervised Law Article Mining based on Deep Pre-Trained Language
Representation Models with Application to the Italian Civil Code
- arxiv url: http://arxiv.org/abs/2112.03033v1
- Date: Thu, 2 Dec 2021 11:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 14:20:48.756764
- Title: Unsupervised Law Article Mining based on Deep Pre-Trained Language
Representation Models with Application to the Italian Civil Code
- Title(参考訳): 深層事前学習された言語表現モデルに基づく教師なし法律記事のマイニングとイタリア民法への応用
- Authors: Andrea Tagarelli, Andrea Simeri
- Abstract要約: 本研究では,BERT学習フレームワークに基づくイタリア法体系の法律記事予測への高度アプローチを提案する。
LamBERTa モデルは,イタリアの民法又はその部分に基づいて事前訓練された BERT を微調整することにより,法律項目の検索を分類タスクとして定義する。
本稿では,MPBERTaモデルの説明可能性と解釈可能性について考察し,異なるタイプの問合せ集合に関する広範な実験的検討を行った。
- 参考スコア(独自算出の注目度): 3.9342247746757435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling law search and retrieval as prediction problems has recently emerged
as a predominant approach in law intelligence. Focusing on the law article
retrieval task, we present a deep learning framework named LamBERTa, which is
designed for civil-law codes, and specifically trained on the Italian civil
code. To our knowledge, this is the first study proposing an advanced approach
to law article prediction for the Italian legal system based on a BERT
(Bidirectional Encoder Representations from Transformers) learning framework,
which has recently attracted increased attention among deep learning
approaches, showing outstanding effectiveness in several natural language
processing and learning tasks. We define LamBERTa models by fine-tuning an
Italian pre-trained BERT on the Italian civil code or its portions, for law
article retrieval as a classification task. One key aspect of our LamBERTa
framework is that we conceived it to address an extreme classification
scenario, which is characterized by a high number of classes, the few-shot
learning problem, and the lack of test query benchmarks for Italian legal
prediction tasks. To solve such issues, we define different methods for the
unsupervised labeling of the law articles, which can in principle be applied to
any law article code system. We provide insights into the explainability and
interpretability of our LamBERTa models, and we present an extensive
experimental analysis over query sets of different type, for single-label as
well as multi-label evaluation tasks. Empirical evidence has shown the
effectiveness of LamBERTa, and also its superiority against widely used
deep-learning text classifiers and a few-shot learner conceived for an
attribute-aware prediction task.
- Abstract(参考訳): 予測問題としての法検索と検索のモデル化は、近年、法知性において主要なアプローチとして浮上している。
本稿では,法律記事検索タスクに着目し,民法コード用に設計され,特にイタリア民法に基づいて訓練されたlambertaという深層学習フレームワークを提案する。
我々の知る限りでは、BERT(Bidirectional Encoder Representations from Transformers)学習フレームワークに基づくイタリアの法体系に関する法律記事予測への先進的なアプローチを提案する最初の研究であり、近年、深層学習のアプローチに注目が集まっており、いくつかの自然言語処理や学習タスクにおいて顕著な効果を示している。
LamBERTa モデルは,イタリアの民法又はその部分に基づいて事前訓練された BERT を微調整することにより,法律項目の検索を分類タスクとして定義する。
LamBERTaフレームワークの1つの重要な側面は、多数のクラス、数ショットの学習問題、イタリアの法定予測タスクに対するテストクエリベンチマークの欠如を特徴とする、極端な分類シナリオに対処するためにこれを考案したことです。
このような問題を解決するために、法律記事の無監督ラベル付けのための異なる方法を定義し、原則としてあらゆる法律記事コードシステムに適用することができる。
我々は LamBERTa モデルの説明可能性と解釈可能性に関する知見を提供し,複数ラベル評価タスクだけでなく,異なるタイプのクエリセットに対する広範な実験分析を行った。
LamBERTaの有効性や、広く使われているディープラーニングテキスト分類器や属性認識予測タスクのために考案された数発の学習者に対する優位性を示す実証的な証拠がある。
関連論文リスト
- Do Language Models Learn about Legal Entity Types during Pretraining? [4.604003661048267]
Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。
Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
論文 参考訳(メタデータ) (2023-10-19T18:47:21Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - SCALE: Scaling up the Complexity for Advanced Language Model Evaluation [19.339580164451256]
現在のLarge Language Models (LLM) に課題をもたらす新しい NLP ベンチマークを導入する。
我々のベンチマークはスイスの法体系の様々な法的NLPデータセットで構成されている。
本研究の一環として,ベンチマークで事前学習した複数言語モデルを評価し,基準点として強いベースラインを確立する。
論文 参考訳(メタデータ) (2023-06-15T16:19:15Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳(メタデータ) (2023-04-22T10:47:01Z) - AraLegal-BERT: A pretrained language model for Arabic Legal text [0.399013650624183]
AraLegal-BERTは双方向エンコーダトランスフォーマーベースのモデルで、徹底的にテストされ、慎重に最適化されている。
AraLegal-BERTを微調整し、3つの自然言語理解(NLU)タスクにおいて、アラビア語の3つのBERT変種に対して評価した。
その結果、AraLegal-BERTのベースバージョンは、法典テキストよりも一般的なBERTよりも精度が高いことがわかった。
論文 参考訳(メタデータ) (2022-10-15T13:08:40Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳(メタデータ) (2022-05-28T01:03:30Z) - Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better
Language Models for Code Understanding [3.98345038769576]
フォーラムの投稿で、質問に対する最良の回答を予測するなどのタスクに基づいて、コード理解を評価するためのベンチマークのセットを導出します。
我々は,これらのタスクにおける現状の言語モデルの性能を評価し,微調整による各タスクの大幅な改善を示す。
論文 参考訳(メタデータ) (2021-09-15T17:42:44Z) - The Unreasonable Effectiveness of the Baseline: Discussing SVMs in Legal
Text Classification [0.0]
サポートベクトルマシン分類器に基づくより伝統的なアプローチは、ディープラーニングモデルと競合する性能に達することを示す。
また,ベースライン上の特定BERTモデルを用いて得られた誤差の低減は,一般的な言語タスクと比較して法域において顕著に小さいことを強調した。
論文 参考訳(メタデータ) (2021-09-15T12:05:28Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳(メタデータ) (2021-05-09T09:39:25Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。