論文の概要: ExpMRC: Explainability Evaluation for Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2105.04126v1
• Date: Mon, 10 May 2021 06:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 23:18:13.708550
• Title: ExpMRC: Explainability Evaluation for Machine Reading Comprehension
• Title（参考訳）: expmrc: 機械読解における説明可能性評価
• Authors: Yiming Cui, Ting Liu, Wanxiang Che, Zhigang Chen, Shijin Wang
• Abstract要約: 我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
• 参考スコア（独自算出の注目度）: 42.483940360860096
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Achieving human-level performance on some of Machine Reading Comprehension (MRC) datasets is no longer challenging with the help of powerful Pre-trained Language Models (PLMs). However, it is necessary to provide both answer prediction and its explanation to further improve the MRC system's reliability, especially for real-life applications. In this paper, we propose a new benchmark called ExpMRC for evaluating the explainability of the MRC systems. ExpMRC contains four subsets, including SQuAD, CMRC 2018, RACE$^+$, and C$^3$ with additional annotations of the answer's evidence. The MRC systems are required to give not only the correct answer but also its explanation. We use state-of-the-art pre-trained language models to build baseline systems and adopt various unsupervised approaches to extract evidence without a human-annotated training set. The experimental results show that these models are still far from human performance, suggesting that the ExpMRC is challenging. Resources will be available through https://github.com/ymcui/expmrc
• Abstract（参考訳）: Machine Reading Comprehension(MRC)データセットの一部で人間レベルのパフォーマンスを達成することは、強力な事前学習言語モデル(PLM)の助けを借りて、もはや困難ではない。 しかし,特に実生活におけるmrcシステムの信頼性をさらに向上させるためには,回答予測と説明の両方を提供することが必要である。 本稿では,MRCシステムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 ExpMRC には SQuAD, CMRC 2018, RACE$^+$, C$^3$ の4つのサブセットが含まれている。 MRCシステムは正しい答えだけでなく、その説明を与える必要がある。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。 実験の結果、これらのモデルはまだヒトの性能に遠く及ばず、expmrcは困難であることが示唆された。 リソースはhttps://github.com/ymcui/expmrcから入手できる。

関連論文リスト

• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• Feeding What You Need by Understanding What You Learned [54.400455868448695]
  Machine Reading (MRC)は、与えられたテキストパスを理解し、それに基づいて質問に答える機能を明らかにする。 MRCの既存の研究は、Exact Matchのようなメトリクスによって評価されたパフォーマンスを改善するために、大規模なモデルとコーパスに大きく依存している。 モデル機能とデータ特性の深い理解は、適切なトレーニングデータでモデルをフィードするのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-05T14:15:59Z)
• Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision [34.01738910736325]
  教師なし機械読解(MRC)のための新しいフレームワークを提案する。 MRC - Spotting-MLM のための自己スーパービジョン・プレテキスト・タスクを設計し、自己教師付き学習を通じて文書中の回答の範囲を見つけることを学ぶ。 実験の結果,本手法は教師なしMRCの最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2021-07-19T02:14:36Z)
• REPT: Bridging Language Models and Machine Reading Comprehensionvia Retrieval-Based Pre-training [45.21249008835556]
  一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。 特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。 我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
  論文  参考訳（メタデータ） (2021-05-10T08:54:46Z)
• Coreference Reasoning in Machine Reading Comprehension [100.75624364257429]
  機械読解におけるコレファレンス推論は,従来考えられていたよりも大きな課題である。 本稿では,コア参照推論の課題を反映した理解データセットの読解手法を提案する。 これにより、さまざまなMRCデータセットにまたがる最先端のモデルの推論能力が向上します。
  論文  参考訳（メタデータ） (2020-12-31T12:18:41Z)
• A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets [5.54205518616467]
  機械読み取り(Machine Reading、MRC)は、自然言語処理(NLP)の研究分野である。 MRCモデルの多くは、さまざまなベンチマークデータセットで人のパフォーマンスをすでに上回っている。 これは、既存のデータセット、評価指標、モデルを改善して、現在のMCCモデルを"リアル"な理解へと移行する必要性を示しています。
  論文  参考訳（メタデータ） (2020-06-21T19:18:54Z)
• A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction [89.88061141170512]
  機械読解モデルの学習のための自己学習法(STM)を提案する。 各イテレーションにおいて、ベースMCCモデルは、黄金の回答とノイズの多いエビデンスラベルで訓練される。 トレーニングされたモデルは、偽の証拠ラベルを次のイテレーションで追加の監督として予測する。
  論文  参考訳（メタデータ） (2020-05-11T15:26:07Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。