論文の概要: On the Robustness of Reading Comprehension Models to Entity Renaming

• arxiv url: http://arxiv.org/abs/2110.08555v1
• Date: Sat, 16 Oct 2021 11:46:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:58:21.299933
• Title: On the Robustness of Reading Comprehension Models to Entity Renaming
• Title（参考訳）: エンティティリネームに対する理解モデル読解のロバスト性について
• Authors: Jun Yan, Yang Xiao, Sagnik Mukherjee, Bill Yuchen Lin, Robin Jia, Xiang Ren
• Abstract要約: 本稿では,機械読影理解モデル(MRC)のエンティティ・リネームに対する堅牢性について検討する。 そこで本稿では,人物名をさまざまなソースから名前に置き換える,汎用的でスケーラブルな手法を提案する。 エンティティが改名された場合、MCCモデルは一貫して悪化する。
• 参考スコア（独自算出の注目度）: 44.11484801074727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the robustness of machine reading comprehension (MRC) models to entity renaming -- do models make more wrong predictions when answer entities have different names? Such failures would indicate that models are overly reliant on entity knowledge to answer questions, and therefore may generalize poorly when facts about the world change or questions are asked about novel entities. To systematically audit model robustness, we propose a general and scalable method to replace person names with names from a variety of sources, ranging from common English names to names from other languages to arbitrary strings. Across four datasets and three pretrained model architectures, MRC models consistently perform worse when entities are renamed, with particularly large accuracy drops on datasets constructed via distant supervision. We also find large differences between models: SpanBERT, which is pretrained with span-level masking, is more robust than RoBERTa, despite having similar accuracy on unperturbed test data. Inspired by this, we experiment with span-level and entity-level masking as a continual pretraining objective and find that they can further improve the robustness of MRC models.
• Abstract（参考訳）: 私たちは、mrc(machine reading comprehension)モデルのエンティティリネームへの堅牢性について研究しています。 このような失敗は、モデルが質問に答えるためにエンティティ知識に過度に依存していることを示し、それゆえ、世界の変化に関する事実や、新しいエンティティに関する質問がある場合、不十分に一般化する可能性がある。 モデルロバスト性を体系的に監査するために,一般的な英語名から他言語への名前,任意の文字列まで,さまざまなソースから人名に置き換える,汎用的でスケーラブルな手法を提案する。 4つのデータセットと3つの事前訓練されたモデルアーキテクチャにまたがって、MCCモデルはエンティティが改名されると常に悪化する。 SpanBERTは、スパンレベルのマスキングで事前訓練されているが、未摂動テストデータに類似した精度を持つにもかかわらず、RoBERTaよりも堅牢である。 そこで我々は, 連続事前学習の目的として, スパンレベルおよびエンティティレベルのマスキングを実験し, MRCモデルのロバスト性をさらに向上できることを示した。

関連論文リスト

• Multicultural Name Recognition For Previously Unseen Names [65.268245109828]
  本論文は、人名の認識を改善することを目的としており、それは、誰かが生まれたり、名前を変えたりする際にも、成長できる多様なカテゴリーである。 私は103か国の名前を見て、モデルが異なる文化の名前でどれだけうまく機能するかを比較します。 文字入力と単語入力を組み合わせたモデルの方が単語のみのモデルより優れており,従来のNERモデルと比較して精度が向上する可能性がある。
  論文  参考訳（メタデータ） (2024-01-23T17:58:38Z)
• Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
  言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。 細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。 微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-05-28T13:19:12Z)
• Evaluating the Robustness of Machine Reading Comprehension Models to Low Resource Entity Renaming [3.117224133280308]
  MRCモデルのエンティティリネームへの堅牢性について検討する。 我々は、国、人、国籍、場所、組織、都市といったタイプのエンティティを改名する。 ベースモデルと比較して、大きなモデルは、新しいエンティティに対して比較的よく機能することがわかった。
  論文  参考訳（メタデータ） (2023-04-06T15:29:57Z)
• An Understanding-Oriented Robust Machine Reading Comprehension Model [12.870425062204035]
  本稿では,3種類のロバスト性問題に対処する理解指向機械読解モデルを提案する。 具体的には、入力された質問の正確な意味を理解するために、まず自然言語推論モジュールを使用します。 第3に,一般化の問題に対処する多言語学習機構を提案する。
  論文  参考訳（メタデータ） (2022-07-01T03:32:02Z)
• A Comparative Study of Transformer-Based Language Models on Extractive Question Answering [0.5079811885340514]
  事前訓練された言語モデルをトレーニングし、複数の質問応答データセットでそれらを微調整する。 F1スコアを基準として、RoBERTaとBARTが事前トレーニングされたモデルは、すべてのデータセットで最高のパフォーマンスを発揮します。
  論文  参考訳（メタデータ） (2021-10-07T02:23:19Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• A Realistic Study of Auto-regressive Language Models for Named Entity Typing and Recognition [7.345578385749421]
  メタ学習装置を用いて、名前付きエンティティ認識のための事前学習言語モデルについて検討する。 まず、ゼロショット転送シナリオにおいて、名前付きエンティティ型付け(NET)をテストする。次に、推論の例をいくつか挙げて、NERを実行する。 本稿では,事前学習したモデルにのみアクセス可能で,これらのグループについて報告する際,見知らぬ名前や稀な名前を選択する手法を提案する。
  論文  参考訳（メタデータ） (2021-08-26T15:29:00Z)
• Towards Trustworthy Deception Detection: Benchmarking Model Robustness across Domains, Modalities, and Languages [10.131671217810581]
  我々は、ドメイン外データ、モダリティ特化特徴、および英語以外の言語に対するモデルロバスト性を評価する。 我々は、追加の画像コンテンツを入力として、ELMo埋め込みはBERTまたはGLoVeと比較して大幅に少ないエラーをもたらすことを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T18:05:52Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
  既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。 外部リソースを一切使用しないドメイン間NERモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-14T09:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。