論文の概要: A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction

• arxiv url: http://arxiv.org/abs/2005.05189v2
• Date: Fri, 19 Jun 2020 04:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:10:25.080912
• Title: A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction
• Title（参考訳）: ソフトエビデンス抽出による機械読解理解のための自己学習手法
• Authors: Yilin Niu, Fangkai Jiao, Mantong Zhou, Ting Yao, Jingfang Xu, Minlie Huang
• Abstract要約: 機械読解モデルの学習のための自己学習法(STM)を提案する。 各イテレーションにおいて、ベースMCCモデルは、黄金の回答とノイズの多いエビデンスラベルで訓練される。 トレーニングされたモデルは、偽の証拠ラベルを次のイテレーションで追加の監督として予測する。
• 参考スコア（独自算出の注目度）: 89.88061141170512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural models have achieved great success on machine reading comprehension (MRC), many of which typically consist of two components: an evidence extractor and an answer predictor. The former seeks the most relevant information from a reference text, while the latter is to locate or generate answers from the extracted evidence. Despite the importance of evidence labels for training the evidence extractor, they are not cheaply accessible, particularly in many non-extractive MRC tasks such as YES/NO question answering and multi-choice MRC. To address this problem, we present a Self-Training method (STM), which supervises the evidence extractor with auto-generated evidence labels in an iterative process. At each iteration, a base MRC model is trained with golden answers and noisy evidence labels. The trained model will predict pseudo evidence labels as extra supervision in the next iteration. We evaluate STM on seven datasets over three MRC tasks. Experimental results demonstrate the improvement on existing MRC models, and we also analyze how and why such a self-training method works in MRC. The source code can be obtained from https://github.com/SparkJiao/Self-Training-MRC
• Abstract（参考訳）: ニューラルモデルは、機械読解(MRC)において大きな成功をおさめ、その多くが典型的にはエビデンス抽出器と解答予測器の2つの構成要素から構成されている。 前者は参照テキストから最も関連性の高い情報を求め、後者は抽出された証拠から回答を見つけ出して生成する。 証拠抽出機を訓練するためのエビデンスラベルの重要性にもかかわらず、特にYES/NO質問応答やマルチチョイスMCCのような多くの非抽出的MCCタスクでは、安価に利用できない。 この問題に対処するため, 自動生成エビデンスラベルを用いたエビデンス抽出器を反復的に監視する自己評価法(STM)を提案する。 それぞれのイテレーションで、ベースmrcモデルは黄金の答えと騒がしい証拠ラベルで訓練される。 トレーニングされたモデルは、疑似証拠ラベルを次のイテレーションで追加の監督として予測する。 3つのmrcタスクで7つのデータセットのstmを評価する。 実験の結果,既存のMRCモデルの改善が示され,また,このような自己学習手法がMRCでどのように機能するか,なぜ機能するのかを解析した。 ソースコードはhttps://github.com/SparkJiao/Self-Training-MRCから取得できる。

関連論文リスト

• Multi-grained Evidence Inference for Multi-choice Reading Comprehension [62.0773160298008]
  MRC(Multi-choice Machine Reading)は、マシンが提供されたオプションに従って質問に答える上で、重要かつ困難なタスクである。 多粒性エビデンスを包括的に統合した多粒性エビデンス推論システム(Mugen)を提案する。 Mugen は3つの異なるエビデンスを抽出し、エビデンスを元のパスと統合し、4つのマルチチョイス MRC ベンチマークで顕著で一貫したパフォーマンス改善を達成する。
  論文  参考訳（メタデータ） (2023-10-27T11:36:18Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• Distantly-Supervised Evidence Retrieval Enables Question Answering without Evidence Annotation [19.551623461082617]
  オープンドメインの質問応答は、大きなコーパスから取得した証拠に基づいて質問に答える。 本稿では,大規模コーパスからモデルが証拠の発見を学べるかどうかを,モデル学習のための回答ラベルからのみ遠ざかって検討する。 我々は,最新のモデルから証拠を交互に発見し,最も可能性の高い証拠を学習するよう促すことにより,弱いレトリバーよりも反復的に改善する新しいアプローチ(DistDR)を提案する。
  論文  参考訳（メタデータ） (2021-10-10T20:01:27Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)
• REPT: Bridging Language Models and Machine Reading Comprehensionvia Retrieval-Based Pre-training [45.21249008835556]
  一般PLMとMRCのギャップを埋めるRetrieval-based Pre-TrainingアプローチであるREPTを提案する。 特に,事前学習中のエビデンス抽出を強化するために,二つの自己監督タスクを導入する。 我々のアプローチは、明示的な監督なしに証拠抽出能力を高めることができる。
  論文  参考訳（メタデータ） (2021-05-10T08:54:46Z)
• ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
  我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2021-05-10T06:00:20Z)
• SRQA: Synthetic Reader for Factoid Question Answering [21.28441702154528]
  我々はSRQAと呼ばれる新しいモデルを導入し、これはFactoid Question AnsweringのためのSynthetic Readerを意味する。 このモデルは,多文書シナリオにおける質問応答システムを3つの側面から強化する。 WebQAデータセット上でSRQAを行い、実験により、我々のモデルが最先端のモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-02T13:16:24Z)
• Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension [59.80926970481975]
  機械読解(MRC)を長文で研究する。 モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。 我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T18:08:58Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。