論文の概要: A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets
- arxiv url: http://arxiv.org/abs/2409.05972v1
- Date: Mon, 9 Sep 2024 18:10:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 21:59:49.824081
- Title: A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets
- Title（参考訳）: NLPのための小さな主張裁判所:小さなデータセットによる法的テキスト分類戦略の判断
- Authors: Mariana Yukari Noguti, Edduardo Vellasques, Luiz Eduardo Soares Oliveira,
- Abstract要約: 本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善の戦略について検討する。
我々は,ブラジルの検察官事務所に要求の記録を用いて,対象の1つに記述を割り当てる。
その結果, BERTとデータ拡張, 半教師付き学習戦略を併用したUnsupervised Data Augmentation (UDA) が得られた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in language modelling has significantly decreased the need of labelled data in text classification tasks. Transformer-based models, pre-trained on unlabeled data, can outmatch the performance of models trained from scratch for each task. However, the amount of labelled data need to fine-tune such type of model is still considerably high for domains requiring expert-level annotators, like the legal domain. This paper investigates the best strategies for optimizing the use of a small labeled dataset and large amounts of unlabeled data and perform a classification task in the legal area with 50 predefined topics. More specifically, we use the records of demands to a Brazilian Public Prosecutor's Office aiming to assign the descriptions in one of the subjects, which currently demands deep legal knowledge for manual filling. The task of optimizing the performance of classifiers in this scenario is especially challenging, given the low amount of resources available regarding the Portuguese language, especially in the legal domain. Our results demonstrate that classic supervised models such as logistic regression and SVM and the ensembles random forest and gradient boosting achieve better performance along with embeddings extracted with word2vec when compared to BERT language model. The latter demonstrates superior performance in association with the architecture of the model itself as a classifier, having surpassed all previous models in that regard. The best result was obtained with Unsupervised Data Augmentation (UDA), which jointly uses BERT, data augmentation, and strategies of semi-supervised learning, with an accuracy of 80.7% in the aforementioned task.
- Abstract（参考訳）: 言語モデリングの最近の進歩は、テキスト分類タスクにおけるラベル付きデータの必要性を著しく減らしている。
ラベルのないデータに基づいて事前トレーニングされたトランスフォーマーベースのモデルは、各タスクのスクラッチからトレーニングされたモデルのパフォーマンスを上回ります。
しかし、そのようなモデルの微調整に必要なラベル付きデータの量は、法的ドメインのような専門家レベルのアノテータを必要とするドメインにとっては、依然としてかなり高い。
本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善策について検討し,50のトピックを予め定義した法域において分類処理を行う。
具体的には、ブラジルの検察官事務所に要求の記録を用いて、現在、手作業の記入に深い法的知識を必要とする被験者の1つに記述を割り当てることを目的としています。
このシナリオで分類器のパフォーマンスを最適化する作業は、ポルトガル語、特に法的領域で利用可能なリソースの少ないことを考えると、特に困難である。
以上の結果から,ロジスティック回帰やSVM,アンサンブルのランダム森林や勾配向上といった古典的教師付きモデルでは,BERT言語モデルと比較してワード2vecで抽出した埋め込みよりも優れた性能が得られた。
後者は、モデル自体のアーキテクチャを分類器として関連づけた優れた性能を示し、その点において以前のモデル全てを上回った。
最高の結果を得たUnsupervised Data Augmentation (UDA)は、BERT、データ拡張、半教師あり学習の戦略を共同で使用し、上記のタスクの精度は80.7%である。
関連論文リスト
- TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
法的な応用に特化して設計された言語モデルを開発した。
我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-28T19:32:18Z) - Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs [67.54302101989542]
判例検索は、ある事実記述の参照として類似した事例を提供することを目的としている。
既存の作業は主に、長いクエリを使ったケース・ツー・ケースの検索に重点を置いている。
データスケールは、既存のデータハングリーニューラルネットワークのトレーニング要件を満たすには不十分である。
論文 参考訳（メタデータ） (2024-10-09T06:26:39Z) - Language Models are Graph Learners [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。
我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。
生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文 参考訳（メタデータ） (2023-10-27T19:27:59Z) - Attention is Not Always What You Need: Towards Efficient Classification
of Domain-Specific Text [1.1508304497344637]
階層構造に整理された数百のクラスを持つ大規模ITコーパスでは、階層構造における上位レベルのクラスの正確な分類が不可欠である。
ビジネスの世界では、高額なブラックボックスモデルよりも効率的で説明可能なMLモデルが好まれる。
PLMが広く使われているにもかかわらず、これらのモデルがドメイン固有のテキスト分類に使われている理由として、明確で明確な必要性が欠如している。
論文 参考訳（メタデータ） (2023-03-31T03:17:23Z) - An Efficient Active Learning Pipeline for Legal Text Classification [2.462514989381979]
法律分野における事前学習言語モデルを用いて,能動的学習を効果的に活用するためのパイプラインを提案する。
我々は、知識蒸留を用いてモデルの埋め込みを意味論的意味のある空間に導く。
分類タスクに適応したContract-NLIとLEDGARベンチマークの実験により,本手法が標準AL戦略より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-15T13:07:02Z) - Teacher Guided Training: An Efficient Framework for Knowledge Transfer [86.6784627427194]
高品質なコンパクトモデルを訓練するための教師誘導訓練(TGT)フレームワークを提案する。
TGTは、教師が基礎となるデータドメインの優れた表現を取得したという事実を利用する。
TGTは複数の画像分類ベンチマークやテキスト分類や検索タスクの精度を向上させることができる。
論文 参考訳（メタデータ） (2022-08-14T10:33:58Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-11-17T12:10:03Z) - LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language
Model Pre-Training [0.0]
BERTのようなトランスフォーマーベースの大規模言語モデルは、多くのNLPタスクにおいて広範なパフォーマンス改善をもたらした。
法的なNLPでは、BERTベースのモデルが複数のタスクに対して新たな最先端の結果をもたらしている。
LSTMをベースとした軽量言語モデルでは,小さな法定テキスト事前学習コーパスから十分な情報を抽出し,短い法定テキスト分類タスクにおいて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2021-09-02T14:45:04Z) - Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。
また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
論文 参考訳（メタデータ） (2021-01-02T07:13:41Z) - Ranking Creative Language Characteristics in Small Data Scenarios [52.00161818003478]
DirectRankerを適用して、小さなデータでクリエイティブ言語をランク付けするための、新しいディープモデルを提供します。
スパーストレーニングデータを用いた実験により、標準的なニューラルネットワークのランク付け手法の性能は小さなデータセットで崩壊するが、DirectRankerは依然として有効であることがわかった。
論文 参考訳（メタデータ） (2020-10-23T18:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。