論文の概要: Positional Attention for Efficient BERT-Based Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2505.01868v1
• Date: Sat, 03 May 2025 17:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.307308
• Title: Positional Attention for Efficient BERT-Based Named Entity Recognition
• Title（参考訳）: BERT-based Named Entity Recognition のための位置注意法
• Authors: Mo Sun, Siheng Xiong, Yuankai Cai, Bowen Zuo,
• Abstract要約: 自然言語処理(NLP)における変換器(BERT)モデルからの双方向表現を利用した名前付きエンティティ認識(NER)フレームワークを提案する。 本稿では、位置認識機構をエンティティ認識プロセスに統合し、事前学習パラメータを用いた効率的なカスタマイズを可能にするコスト効率の高いアプローチを提案する。 この研究は、BERTベースのNERシステムのトレーニングコストを低減し、高精度を維持しつつ、実用的なソリューションを提供することによって、この分野に貢献する。
• 参考スコア（独自算出の注目度）: 1.2345322051083512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a framework for Named Entity Recognition (NER) leveraging the Bidirectional Encoder Representations from Transformers (BERT) model in natural language processing (NLP). NER is a fundamental task in NLP with broad applicability across downstream applications. While BERT has established itself as a state-of-the-art model for entity recognition, fine-tuning it from scratch for each new application is computationally expensive and time-consuming. To address this, we propose a cost-efficient approach that integrates positional attention mechanisms into the entity recognition process and enables effective customization using pre-trained parameters. The framework is evaluated on a Kaggle dataset derived from the Groningen Meaning Bank corpus and achieves strong performance with fewer training epochs. This work contributes to the field by offering a practical solution for reducing the training cost of BERT-based NER systems while maintaining high accuracy.
• Abstract（参考訳）: 本稿では、自然言語処理(NLP)におけるBERTモデルからの双方向エンコーダ表現を利用した名前付きエンティティ認識(NER)フレームワークを提案する。 NERは、下流アプリケーションに広く適用可能なNLPの基本的なタスクである。 BERTは、エンティティ認識のための最先端モデルとして確立されているが、新しいアプリケーションごとにスクラッチからそれを微調整することは、計算コストと時間を要する。 そこで本研究では,位置認識機構をエンティティ認識プロセスに統合し,事前学習パラメータを用いた効果的なカスタマイズを実現する,コスト効率のよいアプローチを提案する。 このフレームワークは、Groningen Meaning Bankコーパスから派生したKaggleデータセットに基づいて評価され、トレーニングのエポックを少なくして高いパフォーマンスを達成する。 この研究は、BERTベースのNERシステムのトレーニングコストを低減し、高精度を維持しつつ、実用的なソリューションを提供することによって、この分野に貢献する。

関連論文リスト

• On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi [1.6383036433216434]
  低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。 BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。 従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
  論文  参考訳（メタデータ） (2023-12-03T06:53:53Z)
• DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
  既存の入力適応推論手法ではBERTの構造を十分に活用できない。 本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。 提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
  論文  参考訳（メタデータ） (2023-07-26T07:18:50Z)
• Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition [7.226094340165499]
  名前付きエンティティ認識(NER)タスクは、事前に定義されたセマンティックタイプに属するテキストからエンティティを識別することを目的としている。 フラットエンティティのための最先端のソリューション NER は、基盤となるテキストの詳細なセマンティック情報を取得するのが一般的である。 提案するNERフレームワークであるGlobal Pointer(GP)は,乗法的アテンション機構によって相対位置を利用する。
  論文  参考訳（メタデータ） (2022-08-05T09:19:46Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Coarse-to-Fine Pre-training for Named Entity Recognition [26.00489191164784]
  NER固有の事前学習フレームワークを提案し、粗大から細小まで自動的に抽出された実体知識を事前学習モデルに注入する。 本フレームワークは,事前学習したベースラインに対する大幅な改善を実現し,3つのベンチマークに対して,新しい最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2020-10-16T07:39:20Z)
• BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision [49.42215511723874]
  我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。 第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T04:55:39Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。