論文の概要: German BERT Model for Legal Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2303.05388v1
• Date: Tue, 7 Mar 2023 11:54:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 14:04:39.620387
• Title: German BERT Model for Legal Named Entity Recognition
• Title（参考訳）: 法的名前付きエンティティ認識のためのドイツ語BERTモデル
• Authors: Harshil Darji, Jelena Mitrovi\'c, Michael Granitzer
• Abstract要約: 法定エンティティ認識(LER)データセット上で、ドイツのデータ(BERT)に基づいてトレーニングされた人気のあるBERT言語モデルを微調整する。 LERデータセット上のゲルマンBERTを微調整することで、同じLERデータセットの著者が使用するBiLSTM-CRF+モデルより優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 0.43461794560295636
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The use of BERT, one of the most popular language models, has led to improvements in many Natural Language Processing (NLP) tasks. One such task is Named Entity Recognition (NER) i.e. automatic identification of named entities such as location, person, organization, etc. from a given text. It is also an important base step for many NLP tasks such as information extraction and argumentation mining. Even though there is much research done on NER using BERT and other popular language models, the same is not explored in detail when it comes to Legal NLP or Legal Tech. Legal NLP applies various NLP techniques such as sentence similarity or NER specifically on legal data. There are only a handful of models for NER tasks using BERT language models, however, none of these are aimed at legal documents in German. In this paper, we fine-tune a popular BERT language model trained on German data (German BERT) on a Legal Entity Recognition (LER) dataset. To make sure our model is not overfitting, we performed a stratified 10-fold cross-validation. The results we achieve by fine-tuning German BERT on the LER dataset outperform the BiLSTM-CRF+ model used by the authors of the same LER dataset. Finally, we make the model openly available via HuggingFace.
• Abstract（参考訳）: 最も人気のある言語モデルの一つであるBERTの使用は、多くの自然言語処理(NLP)タスクの改善につながっている。 そのようなタスクの1つは、名前付きエンティティ認識(NER)、すなわち指定されたテキストから場所、人、組織などの名前付きエンティティを自動的に識別するものである。 また、情報抽出や議論マイニングといった多くのNLPタスクのための重要なベースステップでもある。 BERTや他の人気のある言語モデルを用いたNERに関する多くの研究があるが、法務NLPや法務技術に関しては、詳細は明らかにされていない。 法的なNLPは、文の類似性や法的なデータにNERなどの様々なNLP技術を適用している。 BERT言語モデルを用いたNERタスクのモデルはごくわずかだが、いずれもドイツ語の法的文書を対象としていない。 本稿では,LERデータセット上でドイツ語データ(BERT)に基づいて訓練された人気のあるBERT言語モデルを微調整する。 モデルが過度に適合しないよう、階層化された10倍のクロスバリデーションを実施しました。 LERデータセット上のゲルマンBERTを微調整することで、同じLERデータセットの著者が使用するBiLSTM-CRF+モデルより優れる。 最後に、HuggingFaceを通じてモデルを公開しています。

関連論文リスト

• On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi [1.6383036433216434]
  低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。 BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。 従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
  論文  参考訳（メタデータ） (2023-12-03T06:53:53Z)
• AraLegal-BERT: A pretrained language model for Arabic Legal text [0.399013650624183]
  AraLegal-BERTは双方向エンコーダトランスフォーマーベースのモデルで、徹底的にテストされ、慎重に最適化されている。 AraLegal-BERTを微調整し、3つの自然言語理解(NLU)タスクにおいて、アラビア語の3つのBERT変種に対して評価した。 その結果、AraLegal-BERTのベースバージョンは、法典テキストよりも一般的なBERTよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-15T13:08:40Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Number Entity Recognition [65.80137628972312]
  番号は他のワードトークンと同様に、自然言語処理(NLP)モデルを構築し、デプロイするテキストの必須コンポーネントである。 本研究では、最先端のNLPモデルの可能性を活用し、関連するタスクにおける性能向上能力の伝達を試みる。 提案した数値をエンティティに分類することで,手作りのFill-In-The-Blank (FITB)タスクや,関節埋め込みを用いた質問応答など,NLPモデルの性能が向上する。
  論文  参考訳（メタデータ） (2022-05-07T05:22:43Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• Soft Gazetteers for Low-Resource Named Entity Recognition [78.00856159473393]
  本稿では、英語知識ベースからユビキタスに利用可能な情報をニューラル名付きエンティティ認識モデルに組み込む「ソフトガゼッタ」を提案する。 4つの低リソース言語に対する実験により,F1得点の4点の平均的改善が示された。
  論文  参考訳（メタデータ） (2020-05-04T21:58:02Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。