論文の概要: From BERT to T5: A Study of Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2605.18462v1
• Date: Mon, 18 May 2026 14:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.71574
• Title: From BERT to T5: A Study of Named Entity Recognition
• Title（参考訳）: BERTからT5へ:名前付きエンティティ認識の研究
• Authors: Mei Jia,
• Abstract要約: 本報告は,2つの事前学習モデルの微調整におけるNERタスクの実装に焦点をあてる。 BERTはトレーニング損失に対する重み付きクロスエントロピーとして適用され、T5は2つの検証戦略で微調整される。 関連する分析は、BERTの共通エラーと2つのモデルのパフォーマンスに関する貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Named entity recognition (NER) has been one of the essential preliminary steps in modern NLP applications. This report focuses on implementing the NER task on finetuning two pretrained models: (i) an encoder-only model (BERT) with a simple classification head, and (ii) a sequence-to-sequence model (T5) with few-shot prompts. Under the original 7-class tag and 3-class simplified tag schemes, BERT is applied a weighted cross-entropy for training loss, and T5 is fine-tuned with two validation strategies. It also conducted an ablation study with different hyperparameters. Moreover, the related analysis provides valuable insights into common errors in BERT and the two models' performance. Based on a bunch of performance metrics, this report aims to compare the above two architectures and explore their abilities in the sequence labelling task, laying the groundwork for further practical use cases.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は、現代のNLPアプリケーションにおいて重要な予備段階の1つである。 本報告は,2つの事前学習モデルの微調整におけるNERタスクの実装に焦点をあてる。 (i)単純な分類頭を持つエンコーダのみのモデル(BERT) (ii) 数発のプロンプトを持つシーケンス・ツー・シーケンス・モデル(T5)。 元々の7クラスタグと3クラス単純化されたタグスキームでは、BERTはトレーニング損失に対して重み付きクロスエントロピーを適用し、T5は2つの検証戦略で微調整される。 また、異なるハイパーパラメータによるアブレーション研究も行った。 さらに、関連する分析は、BERTの共通エラーと2つのモデルの性能に関する貴重な洞察を提供する。 一連のパフォーマンス指標に基づいて、このレポートは上記の2つのアーキテクチャを比較し、シーケンスラベリングタスクにおけるそれらの能力を探究することを目的としており、さらなる実用的なユースケースの基盤となる。

関連論文リスト

• NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training [6.030518150035875]
  本稿では,脳波基礎モデルのための2段階アライメント戦略を提案する。 まず,ドメイン固有の自己教師型微調整パラダイムであるNeuroTTTを提案する。 第2に、未ラベルのテストサンプルの自己教師型テストタイムトレーニングを行う。 我々のアプローチは、大規模なEEG基盤モデルにおけるテストタイムトレーニングとドメインチューニングされたセルフスーパービジョンを統合する最初の方法です。
  論文  参考訳（メタデータ） (2025-09-30T14:14:46Z)
• Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model [33.446533426654995]
  我々は、BERTベースのCSCモデルを強化するために、異種知識注入フレームワークを設計する。 複数層表現を生成するために,n-gram-based layerwise self-attention の新たな形式を提案する。 実験の結果,提案手法は4つの強力なベースラインモデルに対して安定な性能向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-12-27T16:11:07Z)
• Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition [23.69922938823477]
  InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-08-17T05:36:56Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• Pack Together: Entity and Relation Extraction with Levitated Marker [61.232174424421025]
  エンコーダにマーカを戦略的にパッケージ化することにより,スパン(ペア)間の依存関係を検討するために,Packed Levitated Markersという新しいスパン表現手法を提案する。 実験の結果,3つの平坦なNERタスクにおいて,有望なマーカーが充填されたモデルの方がシーケンスラベルモデルよりも0.4%-1.9%優れ,トークンコンキャットモデルを6つのNERベンチマークで上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-13T15:38:13Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。