論文の概要: A Comparative Study of Pre-trained Encoders for Low-Resource Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2204.04980v1
• Date: Mon, 11 Apr 2022 09:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:46:39.437797
• Title: A Comparative Study of Pre-trained Encoders for Low-Resource Named Entity Recognition
• Title（参考訳）: 低リソースエンティティ認識のための事前学習エンコーダの比較検討
• Authors: Yuxuan Chen and Jonas Mikkelsen and Arne Binder and Christoph Alt and Leonhard Hennig
• Abstract要約: 我々は、エンコーダ評価フレームワークを導入し、それを用いて、低リソースNERのタスクにおける最先端の事前訓練された表現の性能を比較する。 我々は、様々な戦略、モデルアーキテクチャ、中間タスクの微調整、コントラスト学習で事前訓練された幅広いエンコーダを分析する。
• 参考スコア（独自算出の注目度）: 10.0731894715001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (PLM) are effective components of few-shot named entity recognition (NER) approaches when augmented with continued pre-training on task-specific out-of-domain data or fine-tuning on in-domain data. However, their performance in low-resource scenarios, where such data is not available, remains an open question. We introduce an encoder evaluation framework, and use it to systematically compare the performance of state-of-the-art pre-trained representations on the task of low-resource NER. We analyze a wide range of encoders pre-trained with different strategies, model architectures, intermediate-task fine-tuning, and contrastive learning. Our experimental results across ten benchmark NER datasets in English and German show that encoder performance varies significantly, suggesting that the choice of encoder for a specific low-resource scenario needs to be carefully evaluated.
• Abstract（参考訳）: 事前学習された言語モデル(plm)は、タスク固有のドメイン外データの事前トレーニングやドメイン内データの微調整を継続するときに、npoアプローチの効果的なコンポーネントである。 しかし、そのようなデータが利用できない低リソースのシナリオにおけるパフォーマンスは、依然として未解決の疑問である。 我々は、エンコーダ評価フレームワークを導入し、低リソースNERタスクにおける最先端の事前学習表現の性能を体系的に比較する。 我々は、様々な戦略、モデルアーキテクチャ、中間タスクの微調整、コントラスト学習で事前訓練された幅広いエンコーダを分析する。 英語とドイツ語の10のベンチマークNERデータセットに対する実験結果から,エンコーダの性能は著しく異なっており,特定の低リソースシナリオに対するエンコーダの選択を慎重に評価する必要があることが示唆された。

関連論文リスト

• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• Improving a Named Entity Recognizer Trained on Noisy Data with a Few Clean Instances [55.37242480995541]
  クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。 メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。 クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-10-25T17:23:37Z)
• Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation [7.056222499095849]
  ビームサーチは 予測分布を用いて 最大限の確率で 書き起こしを求める 最近提案された自己監督学習(SSL)ベースのASRモデルは、極めて確実な予測をもたらす傾向があることを示す。 細調整されたASRモデルの性能を向上させる復号法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T06:42:26Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging [40.57720568571513]
  比較的高品質な大規模NERコーパスを構築し,生成したデータセットに基づいてNER-BERTモデルを事前学習する。 実験結果から,当社の事前学習モデルは,低リソースシナリオにおけるBERTと他の強力なベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-01T10:45:02Z)
• Learning from Language Description: Low-shot Named Entity Recognition via Decomposed Framework [23.501276952950366]
  本研究では,自然言語の監視から学習し,目に見えないエンティティクラスの識別を可能にする新しいNERフレームワークであるSpanNERを提案する。 筆者らは5つのベンチマークデータセットについて広範な実験を行い、提案手法を数ショットの学習、ドメイン転送、ゼロショットの学習設定で評価した。 実験結果から,提案手法は, 最良ベースラインの10%, 23%, 26%を, 最良ベースライン, ドメイン転送, ゼロショット学習設定でそれぞれ改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-11T19:52:09Z)
• Boosting the Generalization Capability in Cross-Domain Few-shot Learning via Noise-enhanced Supervised Autoencoder [23.860842627883187]
  我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。 NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。 また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
  論文  参考訳（メタデータ） (2021-08-11T04:45:56Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。