論文の概要: Wiki to Automotive: Understanding the Distribution Shift and its impact
on Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2112.00283v1
- Date: Wed, 1 Dec 2021 05:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 01:50:38.831714
- Title: Wiki to Automotive: Understanding the Distribution Shift and its impact
on Named Entity Recognition
- Title（参考訳）: wiki to automotive: 分布シフトとその名前付きエンティティ認識への影響を理解する
- Authors: Anmol Nayak, Hari Prasad Timmapathini
- Abstract要約: 転送学習は、Automotiveのようなニッチドメインのテキストで事前訓練されたモデルのパフォーマンスを再現できないことが多い。
我々は、モデルによる強力な語彙、構文、意味的理解を必要とするため、名前付きエンティティ認識(NER)タスクの実行に注力する。
言語モデルを自動車のドメインテキストで微調整することは、NERの性能を大幅に改善することはなかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While transfer learning has become a ubiquitous technique used across Natural
Language Processing (NLP) tasks, it is often unable to replicate the
performance of pre-trained models on text of niche domains like Automotive. In
this paper we aim to understand the main characteristics of the distribution
shift with automotive domain text (describing technical functionalities such as
Cruise Control) and attempt to explain the potential reasons for the gap in
performance. We focus on performing the Named Entity Recognition (NER) task as
it requires strong lexical, syntactic and semantic understanding by the model.
Our experiments with 2 different encoders, namely BERT-Base-Uncased and
SciBERT-Base-Scivocab-Uncased have lead to interesting findings that showed: 1)
The performance of SciBERT is better than BERT when used for automotive domain,
2) Fine-tuning the language models with automotive domain text did not make
significant improvements to the NER performance, 3) The distribution shift is
challenging as it is characterized by lack of repeating contexts, sparseness of
entities, large number of Out-Of-Vocabulary (OOV) words and class overlap due
to domain specific nuances.
- Abstract（参考訳）: トランスファーラーニングは自然言語処理(NLP)タスクにまたがるユビキタスなテクニックとなっているが、Automotiveのようなニッチドメインのテキスト上で事前訓練されたモデルのパフォーマンスを再現することができないことが多い。
本稿では,自動車用ドメインテキスト(Cruise Controlなどの技術的機能を記述する)による分散シフトの主な特徴を理解し,性能差の潜在的な理由を説明することを目的とする。
我々は、モデルによる強力な語彙、構文、意味的理解を必要とするため、名前付きエンティティ認識(NER)タスクの実行に注力する。
BERT-Base-Uncased と SciBERT-Base-Scivocab-Uncased の2つの異なるエンコーダを用いた実験により,興味深い結果が得られた。
1)SciBERTの性能は自動車ドメインで使用する場合のBERTよりも優れている。
2) 言語モデルを自動車用ドメインテキストで微調整しても, NERの性能は向上しなかった。
3) 分布シフトは, 反復する文脈の欠如, 実体のばらつき, 語彙外(oov) 単語の多さ, ドメイン固有ニュアンスによるクラス重なりによって特徴付けられるため, 困難である。
関連論文リスト
- Dude: Dual Distribution-Aware Context Prompt Learning For Large Vision-Language Model [27.56988000960972]
ドメイン共有コンテキストとクラス固有コンテキストの両方の2つのコンテキストに基づいた新しいフレームワークを導入する。
このような二重プロンプト手法は、大規模言語モデルで符号化された暗黙的および明示的な要素を結合することによって、モデルの特徴表現を強化する。
また、構築されたプロンプトと視覚トークンの関係を定量化するために、不均衡最適輸送(UOT)理論を定式化する。
論文 参考訳（メタデータ） (2024-07-05T13:15:29Z) - Incorporating Class-based Language Model for Named Entity Recognition in Factorized Neural Transducer [50.572974726351504]
クラスベースのLMをFNTに組み込んだ新しいE2EモデルであるC-FNTを提案する。
C-FNTでは、名前付きエンティティのLMスコアは、その表面形式の代わりに名前クラスに関連付けることができる。
実験の結果,提案したC-FNTは,単語認識の性能を損なうことなく,名前付きエンティティの誤りを著しく低減することがわかった。
論文 参考訳（メタデータ） (2023-09-14T12:14:49Z) - Domain-oriented Language Pre-training with Adaptive Hybrid Masking and
Optimal Transport Alignment [43.874781718934486]
我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。
フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。
我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
論文 参考訳（メタデータ） (2021-12-01T15:47:01Z) - AutoTriggER: Label-Efficient and Robust Named Entity Recognition with
Auxiliary Trigger Extraction [54.20039200180071]
我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。
筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。
AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
論文 参考訳（メタデータ） (2021-09-10T08:11:56Z) - Domain specific BERT representation for Named Entity Recognition of lab
protocol [0.0]
BERTファミリーは、NERタグ付けから他の言語タスクの範囲まで、下流タスクで非常にうまく機能しているようだ。
本稿では,Bio-Bertに基づく名前付きエンティティタグ作成システムについて述べる。
論文 参考訳（メタデータ） (2020-12-21T06:54:38Z) - Neural Entity Linking on Technical Service Tickets [1.3621712165154805]
ニューラルアプローチは、約20%のトップ-1精度の改善とともに、ハンドコードされたエンティティより優れ、補完することを示す。
また,簡単な文単位の符号化 (Bi-Encoder) によって,高速かつ効率的に検索できることを示す。
論文 参考訳（メタデータ） (2020-05-15T15:47:02Z) - Explicit Domain Adaptation with Loosely Coupled Samples [85.9511585604837]
本稿では,ドメイン間の明示的なマッピングを学習するトランスファーラーニングフレームワークを提案する。
その解釈可能性のために、これは自律運転のような安全クリティカルなアプリケーションにとって有益である。
論文 参考訳（メタデータ） (2020-04-24T21:23:45Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z) - Interpretability Analysis for Named Entity Recognition to Understand
System Predictions and How They Can Improve [49.878051587667244]
名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。
文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。
我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
論文 参考訳（メタデータ） (2020-04-09T14:37:12Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳（メタデータ） (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。