Fugu-MT 論文翻訳(概要): Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech

論文の概要: Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech

arxiv url: http://arxiv.org/abs/2103.11792v1
Date: Fri, 12 Mar 2021 11:06:32 GMT
ステータス: 処理完了
システム内更新日: 2021-04-05 03:30:11.901822
Title: Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Title（参考訳）: 法律技術におけるNLPツールキットの性能と評価基準の比較
Authors: Muhammad Zohaib Khan
Abstract要約: 我々は,事前訓練されたニューラルネットワークモデル,XLNet(autoregressive),BERT(autoencoder)を比較し,分析する。 XLNet Modelは法定オピニオン分類のシーケンス分類タスクで、BERTはNERタスクで、より良い結果を生成する。 bertモデルをさらに法的ドメインに適用するために、ドメイン固有の事前トレーニングと追加の法的語彙を使用します。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent developments in Natural Language Processing have led to the introduction of state-of-the-art Neural Language Models, enabled with unsupervised transferable learning, using different pretraining objectives. While these models achieve excellent results on the downstream NLP tasks, various domain adaptation techniques can improve their performance on domain-specific tasks. We compare and analyze the pretrained Neural Language Models, XLNet (autoregressive), and BERT (autoencoder) on the Legal Tasks. Results show that XLNet Model performs better on our Sequence Classification task of Legal Opinions Classification, whereas BERT produces better results on the NER task. We use domain-specific pretraining and additional legal vocabulary to adapt BERT Model further to the Legal Domain. We prepared multiple variants of the BERT Model, using both methods and their combination. Comparing our variants of the BERT Model, specializing in the Legal Domain, we conclude that both additional pretraining and vocabulary techniques enhance the BERT model's performance on the Legal Opinions Classification task. Additional legal vocabulary improves BERT's performance on the NER task. Combining the pretraining and vocabulary techniques further improves the final results. Our Legal-Vocab-BERT Model gives the best results on the Legal Opinions Task, outperforming the larger pretrained general Language Models, i.e., BERT-Base and XLNet-Base.
Abstract（参考訳）: 近年の自然言語処理の発展は、さまざまな事前学習目的を用いて、教師なし転送可能な学習で実現される最先端のニューラルネットワークモデルの導入につながった。これらのモデルは下流のnlpタスクで優れた結果を得るが、様々なドメイン適応技術はドメイン固有のタスクのパフォーマンスを向上させることができる。我々は,事前訓練されたニューラルネットワークモデル,XLNet(autoregressive),BERT(autoencoder)を比較し,分析する。その結果、XLNet Model は法的な意見分類のシーケンス分類タスクにおいて、BERT は NER タスクにおいて、より良い結果をもたらすことがわかった。我々は、BERTモデルをさらに法律ドメインに適応させるために、ドメイン固有の事前訓練と追加の法的語彙を使用します。 BERTモデルの複数の変種を作成し,その組み合わせについて検討した。法域に特化しているBERTモデルの変種を比較すると,新たな事前学習手法と語彙技術により,法オプション分類タスクにおけるBERTモデルの性能が向上することがわかった。追加の法的語彙は、NERタスクにおけるBERTのパフォーマンスを改善する。事前学習と語彙技法を組み合わせることで、最終的な結果がさらに向上する。我々の法-Vocab-BERTモデルは、より大規模な事前訓練された汎用言語モデル、すなわちBERT-BaseとXLNet-Baseよりも優れた結果をもたらす。

関連論文リスト

LegalTurk Optimized BERT for Multi-Label Text Classification and NER [0.0]
多様なマスキング戦略を組み合わせることで、革新的な事前学習手法を導入する。本研究では,法的領域における2つの重要なダウンストリームタスク,すなわち名義認識と多ラベルテキスト分類に焦点を当てる。提案手法は,従来のBERTモデルと比較して,NERと複数ラベルのテキスト分類タスクにおいて有意な改善が認められた。
論文参考訳（メタデータ） (2024-06-30T10:19:54Z)
Test-Time Training on Graphs with Large Language Models (LLMs) [68.375487369596]
グラフニューラルネットワーク(GNN)をトレーニングするための有望なアプローチとして,TTT(Test-Time Training)が提案されている。テキスト分散グラフ(TAG)上でのLLM(Large Language Models)の優れたアノテーション能力に着想を得て,LLMをアノテータとしてグラフ上でのテスト時間トレーニングを強化することを提案する。 2段階のトレーニング戦略は、限定的でノイズの多いラベルでテストタイムモデルを調整するように設計されている。
論文参考訳（メタデータ） (2024-04-21T08:20:02Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
AraLegal-BERT: A pretrained language model for Arabic Legal text [0.399013650624183]
AraLegal-BERTは双方向エンコーダトランスフォーマーベースのモデルで、徹底的にテストされ、慎重に最適化されている。 AraLegal-BERTを微調整し、3つの自然言語理解(NLU)タスクにおいて、アラビア語の3つのBERT変種に対して評価した。その結果、AraLegal-BERTのベースバージョンは、法典テキストよりも一般的なBERTよりも精度が高いことがわかった。
論文参考訳（メタデータ） (2022-10-15T13:08:40Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Legal Transformer Models May Not Always Help [3.6061626009104057]
本研究では,法的NLPタスクにおけるドメイン適応型事前学習と言語アダプタの価値について検討する。ドメイン適応型事前学習は低リソースダウンストリームタスクにのみ有効であることを示す。さらなる結果として、法定コーパスで事前訓練されたRoBERTaモデルであるLegalRoBERTaをリリースする。
論文参考訳（メタデータ） (2021-09-14T17:53:55Z)
LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training [0.0]
BERTのようなトランスフォーマーベースの大規模言語モデルは、多くのNLPタスクにおいて広範なパフォーマンス改善をもたらした。法的なNLPでは、BERTベースのモデルが複数のタスクに対して新たな最先端の結果をもたらしている。 LSTMをベースとした軽量言語モデルでは,小さな法定テキスト事前学習コーパスから十分な情報を抽出し,短い法定テキスト分類タスクにおいて優れた性能が得られることを示す。
論文参考訳（メタデータ） (2021-09-02T14:45:04Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
DagoBERT: Generating Derivational Morphology with a Pretrained Language Model [20.81930455526026]
事前学習された言語モデル(PLM)は、派生的に複雑な単語を生成することができることを示す。私たちの最高のモデルであるDagoBERTは、導出生成における過去の技術状況よりも明らかに優れています。実験の結果,入力セグメンテーションがBERTの導出知識に重大な影響を及ぼすことが示された。
論文参考訳（メタデータ） (2020-05-02T01:26:46Z)
Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文参考訳（メタデータ） (2020-04-15T03:57:45Z)
Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。