論文の概要: Do Language Models Learn about Legal Entity Types during Pretraining?
- arxiv url: http://arxiv.org/abs/2310.13092v1
- Date: Thu, 19 Oct 2023 18:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 01:34:26.177722
- Title: Do Language Models Learn about Legal Entity Types during Pretraining?
- Title（参考訳）: 言語モデルは事前訓練中に法的なエンティティタイプを学ぶか?
- Authors: Claire Barale, Michael Rovatsos, Nehal Bhuta
- Abstract要約: Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。
Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
- 参考スコア（独自算出の注目度）: 4.604003661048267
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Language Models (LMs) have proven their ability to acquire diverse linguistic
knowledge during the pretraining phase, potentially serving as a valuable
source of incidental supervision for downstream tasks. However, there has been
limited research conducted on the retrieval of domain-specific knowledge, and
specifically legal knowledge. We propose to explore the task of Entity Typing,
serving as a proxy for evaluating legal knowledge as an essential aspect of
text comprehension, and a foundational task to numerous downstream legal NLP
applications. Through systematic evaluation and analysis and two types of
prompting (cloze sentences and QA-based templates) and to clarify the nature of
these acquired cues, we compare diverse types and lengths of entities both
general and domain-specific entities, semantics or syntax signals, and
different LM pretraining corpus (generic and legal-oriented) and architectures
(encoder BERT-based and decoder-only with Llama2). We show that (1) Llama2
performs well on certain entities and exhibits potential for substantial
improvement with optimized prompt templates, (2) law-oriented LMs show
inconsistent performance, possibly due to variations in their training corpus,
(3) LMs demonstrate the ability to type entities even in the case of
multi-token entities, (4) all models struggle with entities belonging to
sub-domains of the law (5) Llama2 appears to frequently overlook syntactic
cues, a shortcoming less present in BERT-based architectures.
- Abstract（参考訳）: 言語モデル(lms)は、事前訓練段階で多様な言語知識を得ることが証明されており、下流タスクの付随的な監督の貴重な情報源となる可能性がある。
しかし、ドメイン固有の知識、特に法的な知識の検索に関する限られた研究がなされている。
本稿では,エンティティタイピングの課題を探求し,テキスト理解の重要な側面として法的な知識を評価するためのプロキシとして機能し,下流の法的なNLPアプリケーションに対する基礎的なタスクを提案する。
体系的な評価と分析と2種類のプロンプト(クローズ文とQAベースのテンプレート)と、これらの取得したキューの性質を明らかにすることで、汎用エンティティとドメイン固有のエンティティ、セマンティクスまたは構文信号、および異なるLM事前学習コーパス(ジェネリックおよび法的指向)とアーキテクチャ(エンコーダBERTベースおよびデコーダのみをLlama2で比較する。
We show that (1) Llama2 performs well on certain entities and exhibits potential for substantial improvement with optimized prompt templates, (2) law-oriented LMs show inconsistent performance, possibly due to variations in their training corpus, (3) LMs demonstrate the ability to type entities even in the case of multi-token entities, (4) all models struggle with entities belonging to sub-domains of the law (5) Llama2 appears to frequently overlook syntactic cues, a shortcoming less present in BERT-based architectures.
関連論文リスト
- Large Language Models for Judicial Entity Extraction: A Comparative Study [0.0]
本研究では,事例法文書におけるドメイン固有エンティティの同定における大規模言語モデルの適用について検討する。
この研究は、Large Language Model Meta AI 3、Mistral、Gemmaを含む最先端のLarge Language Modelアーキテクチャの性能を評価する。
論文 参考訳（メタデータ） (2024-07-08T09:49:03Z) - Can Large Language Models Identify Authorship? [16.35265384114857]
大規模言語モデル(LLM)は、推論と問題解決の特別な能力を示している。
1) LLM はゼロショット・エンド・ツー・エンドのオーサシップ検証を効果的に行うことができるか?
2) LLM は,複数の候補作家(例えば,10,20)の著者を正確に帰属させることができるか?
論文 参考訳（メタデータ） (2024-03-13T03:22:02Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language
Pretraining? [34.609984453754656]
本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。
具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
論文 参考訳（メタデータ） (2023-08-24T16:17:40Z) - One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
この研究は、法域に対する新しいNLPベンチマークを導入している。
エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。
我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
論文 参考訳（メタデータ） (2023-06-15T16:19:15Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - Prompting Language Models for Linguistic Structure [73.11488464916668]
本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。
提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。
PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
論文 参考訳（メタデータ） (2022-11-15T01:13:39Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - ERICA: Improving Entity and Relation Understanding for Pre-trained
Language Models via Contrastive Learning [97.10875695679499]
そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。
実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。