論文の概要: LegalTurk Optimized BERT for Multi-Label Text Classification and NER

• arxiv url: http://arxiv.org/abs/2407.00648v1
• Date: Sun, 30 Jun 2024 10:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 02:07:11.844576
• Title: LegalTurk Optimized BERT for Multi-Label Text Classification and NER
• Title（参考訳）: 複数ラベルテキスト分類とNERのための法定Turk最適化BERT
• Authors: Farnaz Zeidi, Mehmet Fatih Amasyali, Çiğdem Erol,
• Abstract要約: 多様なマスキング戦略を組み合わせることで、革新的な事前学習手法を導入する。 本研究では,法的領域における2つの重要なダウンストリームタスク,すなわち名義認識と多ラベルテキスト分類に焦点を当てる。 提案手法は,従来のBERTモデルと比較して,NERと複数ラベルのテキスト分類タスクにおいて有意な改善が認められた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The introduction of the Transformer neural network, along with techniques like self-supervised pre-training and transfer learning, has paved the way for advanced models like BERT. Despite BERT's impressive performance, opportunities for further enhancement exist. To our knowledge, most efforts are focusing on improving BERT's performance in English and in general domains, with no study specifically addressing the legal Turkish domain. Our study is primarily dedicated to enhancing the BERT model within the legal Turkish domain through modifications in the pre-training phase. In this work, we introduce our innovative modified pre-training approach by combining diverse masking strategies. In the fine-tuning task, we focus on two essential downstream tasks in the legal domain: name entity recognition and multi-label text classification. To evaluate our modified pre-training approach, we fine-tuned all customized models alongside the original BERT models to compare their performance. Our modified approach demonstrated significant improvements in both NER and multi-label text classification tasks compared to the original BERT model. Finally, to showcase the impact of our proposed models, we trained our best models with different corpus sizes and compared them with BERTurk models. The experimental results demonstrate that our innovative approach, despite being pre-trained on a smaller corpus, competes with BERTurk.
• Abstract（参考訳）: Transformerニューラルネットワークの導入は、自己教師付き事前トレーニングやトランスファー学習といったテクニックとともに、BERTのような高度なモデルへの道を開いた。 BERTの素晴らしい性能にもかかわらず、さらなる拡張の機会は存在する。 我々の知る限りでは、BERTの英語および一般ドメインにおけるパフォーマンス向上に重点を置いているが、トルコの合法ドメインに特に対処する研究は行われていない。 本研究は, トルコの法的な領域におけるBERTモデルを, 事前学習段階の修正によって強化することを目的としている。 本研究では,多様なマスキング戦略を組み合わせることで,革新的な事前学習手法を提案する。 微調整タスクでは、ドメイン名認識と複数ラベルのテキスト分類という2つの重要なダウンストリームタスクに焦点をあてる。 修正された事前学習アプローチを評価するため、従来のBERTモデルと並んでカスタマイズされたモデルをすべて微調整し、性能を比較した。 提案手法は,従来のBERTモデルと比較して,NERと複数ラベルのテキスト分類タスクにおいて有意な改善が認められた。 最後に,提案モデルの影響を示すため,異なるコーパスサイズで最良のモデルをトレーニングし,BERTurkモデルと比較した。 実験の結果、私たちの革新的なアプローチは、小さなコーパスで事前訓練されているにもかかわらず、BERTurkと競合することがわかった。

関連論文リスト

• BERTer: The Efficient One [0.0]
  本研究では、感情分析、パラフレーズ検出、意味的テキスト類似性においてBERTの性能を高めるための高度な微調整手法について検討する。 その結果,複数の微調整アーキテクチャを組み合わせる場合のモデル効率と有効性は大幅に向上した。
  論文  参考訳（メタデータ） (2024-07-19T05:33:09Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Optimizing small BERTs trained for German NER [0.16058099298620418]
  小型BERTモデルの様々なトレーニング手法を調査し、ドイツの5つの公共NERタスクで評価します。 CSEタグングと改質LCRFの2つの新しい微調整技術を提案します。 さらに,BERTメモリの使用量を削減し,性能を低下させるWWAという新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-04-23T12:36:13Z)
• Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech [0.0]
  我々は,事前訓練されたニューラルネットワークモデル,XLNet(autoregressive),BERT(autoencoder)を比較し,分析する。 XLNet Modelは法定オピニオン分類のシーケンス分類タスクで、BERTはNERタスクで、より良い結果を生成する。 bertモデルをさらに法的ドメインに適用するために、ドメイン固有の事前トレーニングと追加の法的語彙を使用します。
  論文  参考訳（メタデータ） (2021-03-12T11:06:32Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• DagoBERT: Generating Derivational Morphology with a Pretrained Language Model [20.81930455526026]
  事前学習された言語モデル(PLM)は、派生的に複雑な単語を生成することができることを示す。 私たちの最高のモデルであるDagoBERTは、導出生成における過去の技術状況よりも明らかに優れています。 実験の結果,入力セグメンテーションがBERTの導出知識に重大な影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2020-05-02T01:26:46Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。