論文の概要: What's in a Name? Are BERT Named Entity Representations just as Good for any other Name?

• arxiv url: http://arxiv.org/abs/2007.06897v1
• Date: Tue, 14 Jul 2020 08:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 13:41:01.458040
• Title: What's in a Name? Are BERT Named Entity Representations just as Good for any other Name?
• Title（参考訳）: 名前の由来は? BERT は Entity Representations を他のどの名前にも最適か?
• Authors: Sriram Balasubramanian, Naman Jain, Gaurav Jindal, Abhijeet Awasthi, Sunita Sarawagi
• Abstract要約: BERTをベースとしたNLPモデルの名前付きエンティティ表現は,入力中の同じ型付きクラスからの置換に対するロバスト性を調べることで評価する。 タイプアノテーションの不確かさとラベル予測を共同でモデル化しながら,複数の代替品からの予測をアンサンブルする簡単な方法を提案する。 3つのNLPタスクの実験結果から,本手法は自然・敵対的データセットの堅牢性を向上し,精度を向上することが示された。
• 参考スコア（独自算出の注目度）: 18.11382921200802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We evaluate named entity representations of BERT-based NLP models by investigating their robustness to replacements from the same typed class in the input. We highlight that on several tasks while such perturbations are natural, state of the art trained models are surprisingly brittle. The brittleness continues even with the recent entity-aware BERT models. We also try to discern the cause of this non-robustness, considering factors such as tokenization and frequency of occurrence. Then we provide a simple method that ensembles predictions from multiple replacements while jointly modeling the uncertainty of type annotations and label predictions. Experiments on three NLP tasks show that our method enhances robustness and increases accuracy on both natural and adversarial datasets.
• Abstract（参考訳）: BERTをベースとしたNLPモデルの名前付きエンティティ表現は,入力中の同じ型付きクラスからの置換に対するロバスト性を調べることで評価する。 このような摂動は自然であるが、いくつかのタスクにおいて、訓練されたモデルの状況は驚くほど不安定である。 脆性は、最近のエンティティ対応bertモデルでも継続される。 また,この非ロバスト性の原因を,トークン化や発生頻度などの要因を考慮して識別する。 タイプアノテーションの不確かさとラベル予測を共同でモデル化しながら,複数の置換子から予測をアンサンブルする簡易な手法を提案する。 3つのNLPタスクの実験から,本手法は自然・逆のデータセットの堅牢性を向上し,精度を高めることが示された。

関連論文リスト

• Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
  本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。 私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。 文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
  論文  参考訳（メタデータ） (2024-01-23T17:58:38Z)
• Continual Named Entity Recognition without Catastrophic Forgetting [37.316700599440935]
  我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。 非エンタリティ型のための信頼に基づく疑似ラベルを作成する。 バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:45:30Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
  多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。 実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。 また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
  論文  参考訳（メタデータ） (2022-12-20T14:06:50Z)
• The Topological BERT: Transforming Attention into Topology for Natural Language Processing [0.0]
  本稿では,トポロジカルデータ解析を用いたテキスト分類器を提案する。 我々は、その分類器への唯一の入力として、BERTのアテンションマップをアテンショングラフに変換する。 このモデルは、スパムとハムメッセージの区別、文が文法的に正しいかどうかの認識、あるいは映画レビューを否定的あるいは肯定的な評価といったタスクを解くことができる。
  論文  参考訳（メタデータ） (2022-06-30T11:25:31Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack [10.871587311621974]
  汎用とドメイン固有のBERTモデルは、自然言語処理(NLP)タスクに広く使われている。 本稿では,識別エンティティ認識(NER)の入力データの変化に対するBERTモデルの脆弱性を,敵攻撃による脆弱性として検討する。
  論文  参考訳（メタデータ） (2021-09-23T11:47:27Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method [29.352569563032056]
  本稿では,言語知識を単語埋め込みの形で,事前学習したBERTに明示的に注入する手法を提案する。 依存性ベースと逆適合の埋め込みを注入する場合、複数のセマンティックな類似性データセットのパフォーマンス改善は、そのような情報が有益であり、現在元のモデルから欠落していることを示している。
  論文  参考訳（メタデータ） (2020-10-23T17:00:26Z)
• Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
  しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
  論文  参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。