論文の概要: Noisy Text Data: Achilles' Heel of BERT

• arxiv url: http://arxiv.org/abs/2003.12932v3
• Date: Sun, 18 Oct 2020 09:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:30:49.751744
• Title: Noisy Text Data: Achilles' Heel of BERT
• Title（参考訳）: 騒々しいテキストデータ:アキレスのBERTのヒール
• Authors: Ankit Kumar, Piyush Makhija, Anuj Gupta
• Abstract要約: 本研究では,BERTの雑音に対する感度について検討する。 本研究では, BERT の基本的な NLP タスクにおける性能が (シミュレーション) ノイズの存在下で著しく低下することを示す実験結果を示す。 以上の結果から,BERTを微調整して産業用ユースケースを解決するためには,データセットのノイズの有無が異なる必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 9.140423191799423
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Owing to the phenomenal success of BERT on various NLP tasks and benchmark datasets, industry practitioners are actively experimenting with fine-tuning BERT to build NLP applications for solving industry use cases. For most datasets that are used by practitioners to build industrial NLP applications, it is hard to guarantee absence of any noise in the data. While BERT has performed exceedingly well for transferring the learnings from one use case to another, it remains unclear how BERT performs when fine-tuned on noisy text. In this work, we explore the sensitivity of BERT to noise in the data. We work with most commonly occurring noise (spelling mistakes, typos) and show that this results in significant degradation in the performance of BERT. We present experimental results to show that BERT's performance on fundamental NLP tasks like sentiment analysis and textual similarity drops significantly in the presence of (simulated) noise on benchmark datasets viz. IMDB Movie Review, STS-B, SST-2. Further, we identify shortcomings in the existing BERT pipeline that are responsible for this drop in performance. Our findings suggest that practitioners need to be vary of presence of noise in their datasets while fine-tuning BERT to solve industry use cases.
• Abstract（参考訳）: さまざまなNLPタスクやベンチマークデータセットにおけるBERTの驚異的な成功により、業界実践者は、業界ユースケースを解決するためのNLPアプリケーションを構築するための微調整BERTを積極的に実験している。 実践者が産業用NLPアプリケーションを構築するために使用するほとんどのデータセットでは、データにノイズがないことを保証するのは難しい。 BERTは、あるユースケースから別のユースケースへ学習を転送するために、非常にうまく機能してきたが、ノイズの多いテキストで微調整された場合、BERTがどのように機能するかは、まだ不明である。 本研究では,データの雑音に対するbertの感度について検討する。 我々は、最も一般的に発生するノイズ(スペルミス、タイプミス)で作業し、BERTの性能が著しく低下することを示す。 ベンチマークデータセットvizにおける(シミュレーションされた)ノイズの存在下で、感情分析やテキストの類似性といった基本的なnlpタスクにおけるbertのパフォーマンスが著しく低下することを示す実験結果を示す。 imdb movie review, sts-b, sst-2。 さらに、この性能低下の原因となる既存のBERTパイプラインの欠点を特定します。 以上の結果から,BERTを微調整して産業用ユースケースを解決するためには,データセットのノイズの有無が異なる必要があることが示唆された。

関連論文リスト

• SoftPatch: Unsupervised Anomaly Detection with Noisy Data [67.38948127630644]
  本稿では,画像センサ異常検出におけるラベルレベルのノイズを初めて考察する。 本稿では,メモリベースの非教師付きAD手法であるSoftPatchを提案する。 既存の手法と比較して、SoftPatchは通常のデータの強力なモデリング能力を維持し、コアセットにおける過信問題を軽減する。
  論文  参考訳（メタデータ） (2024-03-21T08:49:34Z)
• Memorization of Named Entities in Fine-tuned BERT Models [3.0177210416625115]
  細調整BERTモデルにおける名前付きエンティティ記憶の程度について検討する。 細調整されたBERTは、事前訓練されたBERTモデルよりも、細調整されたデータセットに特有の名前付きエンティティを生成できないことを示す。
  論文  参考訳（メタデータ） (2022-12-07T16:20:50Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Noisy Text Data: Achilles' Heel of popular transformer based NLP models [0.9826698192347084]
  我々は,一般的なNLPタスクにおいて,一般的なトランスフォーマーベースNLPモデルの性能が劣ることを示す。 さらに、データのノイズが大きくなるにつれて、性能が低下することを示す。 この結果から,NLPモデルを微調整しながら,データセット内のノイズの有無が異なることが示唆された。
  論文  参考訳（メタデータ） (2021-10-07T11:45:31Z)
• ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer [19.643512923368743]
  本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。 STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2021-05-25T08:15:01Z)
• Fine-Tuning BERT for Sentiment Analysis of Vietnamese Reviews [0.0]
  2つのデータセットの実験結果は、BERTを使用したモデルがGloVeとFastTextを使用して、他のモデルよりわずかに優れていることを示している。 提案するBERTファインチューニング法は,従来のBERTファインチューニング法よりも優れた性能を持つアモデルを生成する。
  論文  参考訳（メタデータ） (2020-11-20T14:45:46Z)
• To BERT or Not to BERT: Comparing Task-specific and Task-agnostic Semi-Supervised Approaches for Sequence Tagging [46.62643525729018]
  クロスビュートレーニング(CVT)とタスクに依存しないBERTをドメインやタスクに関連する英語データを含む複数の設定で比較する。 本研究では,一連のタグ付けタスクにおいてBERTと同じような性能を達成し,経済的・環境的影響を低減できることを示す。
  論文  参考訳（メタデータ） (2020-10-27T04:03:47Z)
• TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
  本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-27T10:17:28Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。