論文の概要: Coreference Reasoning in Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2012.15573v1
• Date: Thu, 31 Dec 2020 12:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:14:28.747697
• Title: Coreference Reasoning in Machine Reading Comprehension
• Title（参考訳）: 機械読解における参照推論
• Authors: Mingzhu Wu, Nafise Sadat Moosavi, Dan Roth, Iryna Gurevych
• Abstract要約: 機械読解におけるコレファレンス推論は,従来考えられていたよりも大きな課題である。 本稿では,コア参照推論の課題を反映した理解データセットの読解手法を提案する。 これにより、さまざまなMRCデータセットにまたがる最先端のモデルの推論能力が向上します。
• 参考スコア（独自算出の注目度）: 100.75624364257429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to reason about multiple references to a given entity is essential for natural language understanding and has been long studied in NLP. In recent years, as the format of Question Answering (QA) became a standard for machine reading comprehension (MRC), there have been data collection efforts, e.g., Dasigi et al. (2019), that attempt to evaluate the ability of MRC models to reason about coreference. However, as we show, coreference reasoning in MRC is a greater challenge than was earlier thought; MRC datasets do not reflect the natural distribution and, consequently, the challenges of coreference reasoning. Specifically, success on these datasets does not reflect a model's proficiency in coreference reasoning. We propose a methodology for creating reading comprehension datasets that better reflect the challenges of coreference reasoning and use it to show that state-of-the-art models still struggle with these phenomena. Furthermore, we develop an effective way to use naturally occurring coreference phenomena from annotated coreference resolution datasets when training MRC models. This allows us to show an improvement in the coreference reasoning abilities of state-of-the-art models across various MRC datasets. We will release all the code and the resulting dataset at https://github.com/UKPLab/coref-reasoning-in-qa.
• Abstract（参考訳）: 与えられた実体への複数の参照を推論する能力は自然言語理解に不可欠であり、長い間NLPで研究されてきた。 近年では、質問回答(QA)の形式が機械読解(MRC)の標準となったため、データ収集(例えばDasigiなど)が試みられている。 (2019) は, MRCモデルがコア推論を推論する能力を評価する試みである。 mrcデータセットは、自然分布を反映しておらず、その結果、共参照推論の課題を反映しない。 特に、これらのデータセットの成功は、コリファレンス推論におけるモデルの熟練度を反映していない。 そこで本研究では,共参照推論の課題をよりよく反映し,現状のモデルが依然としてこれらの現象に苦しむことを示すための読解データセットを作成する手法を提案する。 さらに,MDCモデルのトレーニングにおいて,注釈付きコア参照解決データセットから自然発生コア参照現象を効果的に利用する方法を開発した。 これにより,様々なmrcデータセットにまたがる最先端モデルのコリファレンス推論能力の向上を示すことができる。 すべてのコードと結果データセットをhttps://github.com/ukplab/coref-reasoning-in-qaでリリースします。

関連論文リスト

• X-ray Made Simple: Radiology Report Generation and Evaluation with Layman's Terms [25.871814979179373]
  ラジオロジーレポート生成(RRG)は多モード生成モデルの進歩によって大きな進歩を遂げた。 既存の語彙ベースのメトリクス(例えばBLEU)によるRRGのハイパフォーマンスは、単なるミラージュ(mirage)である。 我々は、レイマンの用語ベースのデータセット、評価およびトレーニングフレームワークであるRRGフレームワークを提案することによって、この問題に意図せずにアプローチする。
  論文  参考訳（メタデータ） (2024-06-25T19:52:01Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Lite Unified Modeling for Discriminative Reading Comprehension [68.39862736200045]
  本稿では,多様な差別的MRCタスクを同期的に扱うために,POS強化反復協調ネットワーク(POI-Net)を提案する。 私たちのライト統一設計は、エンコーダコンポーネントとデコーダコンポーネントの両方で、モデルに大きな改善をもたらします。 4つの識別的MCCベンチマークによる評価結果から,本モデルの有効性と適用性について一貫した評価結果を得た。
  論文  参考訳（メタデータ） (2022-03-26T15:47:19Z)
• Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
  そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。 学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2021-10-15T09:28:35Z)
• ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
  我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2021-05-10T06:00:20Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)
• ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
  標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。 本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。 実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。 しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
  論文  参考訳（メタデータ） (2020-02-11T11:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。