論文の概要: Iterative Auto-Annotation for Scientific Named Entity Recognition Using BERT-Based Models

• arxiv url: http://arxiv.org/abs/2502.16312v1
• Date: Sat, 22 Feb 2025 17:58:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:58:30.290466
• Title: Iterative Auto-Annotation for Scientific Named Entity Recognition Using BERT-Based Models
• Title（参考訳）: BERTモデルを用いた科学的名前付きエンティティ認識のための反復的自動アノテーション
• Authors: Kartik Gupta,
• Abstract要約: 本稿では,BERTモデルを用いたSciNER(Scientific Named Entity Recognition)の反復的手法を提案する。 我々は、手動で注釈付きデータの小さな、しかし高品質なデータセットで、微調整済みのモデルへの転送学習を活用する。 このプロセスは、細調整されたモデルを使用して、より大きなデータセットの自動アノテートを行い、その後追加の細調整ラウンドによって反復的に洗練される。
• 参考スコア（独自算出の注目度）: 4.884240342385462
• License:
• Abstract: This paper presents an iterative approach to performing Scientific Named Entity Recognition (SciNER) using BERT-based models. We leverage transfer learning to fine-tune pretrained models with a small but high-quality set of manually annotated data. The process is iteratively refined by using the fine-tuned model to auto-annotate a larger dataset, followed by additional rounds of fine-tuning. We evaluated two models, dslim/bert-large-NER and bert-largecased, and found that bert-large-cased consistently outperformed the former. Our approach demonstrated significant improvements in prediction accuracy and F1 scores, especially for less common entity classes. Future work could include pertaining with unlabeled data, exploring more powerful encoders like RoBERTa, and expanding the scope of manual annotations. This methodology has broader applications in NLP tasks where access to labeled data is limited.
• Abstract（参考訳）: 本稿では,BERTモデルを用いたSciNER(Scientific Named Entity Recognition)の反復的手法を提案する。 我々は、手動で注釈付きデータの小さな、しかし高品質なデータセットで、微調整済みのモデルへの転送学習を活用する。 このプロセスは、細調整されたモデルを使用して、より大きなデータセットの自動アノテートを行い、その後追加の細調整ラウンドによって反復的に洗練される。 我々はdslim/bert-large-NERとbert-largecasedの2つのモデルを評価し,bert-large-casedは前者よりも一貫して優れていた。 提案手法は,予測精度とF1スコア,特にあまり一般的でないエンティティクラスにおいて有意に向上した。 今後の作業には、ラベルのないデータ、RoBERTaのようなより強力なエンコーダの探索、手動アノテーションの範囲の拡大などが含まれる。 この手法はラベル付きデータへのアクセスが制限された NLP タスクに広く応用されている。

関連論文リスト

• Boosting Salient Object Detection with Knowledge Distillated from Large Foundation Models [7.898092154590899]
  Salient Object Detectionは、シーン内の顕著な領域を特定し、セグメンテーションすることを目的としている。 従来のモデルは、正確なピクセルレベルの精度で手動でアノテートされた擬似ラベルに依存している。 本研究では,低コストで高精度なアノテーション手法を開発し,課題に対処する。
  論文  参考訳（メタデータ） (2025-01-08T15:56:21Z)
• Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models [0.0]
  Few-Shot PromptingやIn-context Learningは、モデルが最小限の例でエンティティを認識できるようにする。 NERタスクにおけるGPT-4のような最先端モデルの評価を行い、その数ショットのパフォーマンスと完全に教師付きベンチマークを比較した。
  論文  参考訳（メタデータ） (2024-08-28T13:42:28Z)
• A Benchmark Generative Probabilistic Model for Weak Supervised Learning [2.0257616108612373]
  アノテーションの負担を軽減するために、弱監視学習アプローチが開発されている。 遅延変数モデル(PLVM)が4つのデータセット間で最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-31T07:06:24Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision [49.42215511723874]
  我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。 具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。 第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T04:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。