論文の概要: A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets

• arxiv url: http://arxiv.org/abs/2006.11880v2
• Date: Wed, 21 Oct 2020 04:19:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:31:32.682082
• Title: A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets
• Title（参考訳）: 機械読解に関する調査:タスク,評価基準,ベンチマークデータセット
• Authors: Changchang Zeng, Shaobo Li, Qin Li, Jie Hu, and Jianjun Hu
• Abstract要約: 機械読み取り(Machine Reading、MRC)は、自然言語処理(NLP)の研究分野である。 MRCモデルの多くは、さまざまなベンチマークデータセットで人のパフォーマンスをすでに上回っている。 これは、既存のデータセット、評価指標、モデルを改善して、現在のMCCモデルを"リアル"な理解へと移行する必要性を示しています。
• 参考スコア（独自算出の注目度）: 5.54205518616467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Reading Comprehension (MRC) is a challenging Natural Language Processing(NLP) research field with wide real-world applications. The great progress of this field in recent years is mainly due to the emergence of large-scale datasets and deep learning. At present, a lot of MRC models have already surpassed human performance on various benchmark datasets despite the obvious giant gap between existing MRC models and genuine human-level reading comprehension. This shows the need for improving existing datasets, evaluation metrics, and models to move current MRC models toward "real" understanding. To address the current lack of comprehensive survey of existing MRC tasks, evaluation metrics, and datasets, herein, (1) we analyze 57 MRC tasks and datasets and propose a more precise classification method of MRC tasks with 4 different attributes; (2) we summarized 9 evaluation metrics of MRC tasks, 7 attributes and 10 characteristics of MRC datasets; (3) We also discuss key open issues in MRC research and highlighted future research directions. In addition, we have collected, organized, and published our data on the companion website(https://mrc-datasets.github.io/) where MRC researchers could directly access each MRC dataset, papers, baseline projects, and the leaderboard.
• Abstract（参考訳）: Machine Reading Comprehension (MRC)は、自然言語処理(NLP)の研究分野であり、幅広い現実世界の応用がある。 近年のこの分野の大きな進歩は、主に大規模データセットの出現とディープラーニングによるものである。 現在、既存のMRCモデルと真の人間レベルの読解の間に明らかな大きなギャップがあるにもかかわらず、多くのMRCモデルは、様々なベンチマークデータセット上での人間のパフォーマンスをすでに上回っている。 これは、既存のデータセット、評価指標、モデルを改善して、現在のMCCモデルを"リアル"な理解へと移行する必要性を示しています。 既存のRCタスク,評価指標,データセットの包括的調査の欠如に対処するため,(1) 57のMRCタスクとデータセットを分析し,さらに4つの属性を持つMRCタスクのより正確な分類方法を提案する。(2) MRCタスクの9つの評価指標,7つの属性,および10の特徴について要約し,(3) MRC研究における重要なオープン問題についても論じ,今後の研究方向性を強調した。 さらに、MSC研究者がそれぞれのMSCデータセット、論文、ベースラインプロジェクト、およびリーダーボードに直接アクセスできる同伴ウェブサイト(https://mrc-datasets.github.io/)にデータを収集、整理、公開しました。

関連論文リスト

• IRSC: A Zero-shot Evaluation Benchmark for Information Retrieval through Semantic Comprehension in Retrieval-Augmented Generation Scenarios [14.336896748878921]
  本稿では,多言語RAGタスクにおける埋め込みモデルの性能評価のためのIRSCベンチマークを提案する。 このベンチマークには、クエリ検索、タイトル検索、パラグラフ検索、キーワード検索、要約検索の5つのタスクが含まれている。 1)IRSCベンチマーク,2)SSCIとRCCIメトリクス,3)埋め込みモデルの言語間制限に関する洞察などです。
  論文  参考訳（メタデータ） (2024-09-24T05:39:53Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• Datasets for Large Language Models: A Comprehensive Survey [37.153302283062004]
  この調査は、LLMデータセットの基本的側面を5つの観点から統合し、分類する。 この調査は、一般的な課題を浮き彫りにし、今後の調査への道のりを指摘している。 調査対象のデータサイズは、事前トレーニングのコーパスが774.5TB、他のデータセットが700万インスタンスを超えている。
  論文  参考訳（メタデータ） (2024-02-28T04:35:51Z)
• NER-to-MRC: Named-Entity Recognition Completely Solving as Machine Reading Comprehension [29.227500985892195]
  NER は NER-to-MRC と呼ばれる機械読解問題である。 我々は NER タスクを MRC で解くのに適した形式に効率よく変換する。 我々は、WNUT-16データセットを最大11.24%改善し、外部データなしで最先端のパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2023-05-06T08:05:22Z)
• A Comprehensive Survey on Multi-hop Machine Reading Comprehension Datasets and Metrics [0.0]
  マルチホップ機械読解は,情報の相違点に基づいて質問に答えることを目的とした課題である。 評価指標とデータセットは、マルチホップMCCにおいて重要な部分である。 本研究の目的は,マルチホップMRC評価指標とデータセットの最近の進歩に関する包括的調査を行うことである。
  論文  参考訳（メタデータ） (2022-12-08T04:42:59Z)
• Lite Unified Modeling for Discriminative Reading Comprehension [68.39862736200045]
  本稿では,多様な差別的MRCタスクを同期的に扱うために,POS強化反復協調ネットワーク(POI-Net)を提案する。 私たちのライト統一設計は、エンコーダコンポーネントとデコーダコンポーネントの両方で、モデルに大きな改善をもたらします。 4つの識別的MCCベンチマークによる評価結果から,本モデルの有効性と適用性について一貫した評価結果を得た。
  論文  参考訳（メタデータ） (2022-03-26T15:47:19Z)
• ExpMRC: Explainability Evaluation for Machine Reading Comprehension [42.483940360860096]
  我々は,機械読解システムの説明可能性を評価するためのExpMRCと呼ばれる新しいベンチマークを提案する。 我々は、最先端の事前訓練言語モデルを用いてベースラインシステムを構築し、人間の注釈のないトレーニングセットなしで証拠を抽出するための様々な教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2021-05-10T06:00:20Z)
• Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question Answering Data [58.36305373100518]
  主観的問合せデータが機械読解作業に有用かどうかは不明である。 大規模多目的多目的質問回答データセットであるExamQAを収集する。 我々は、Web検索エンジンが返す不完全でノイズの多いスニペットを、各質問応答インスタンスの関連するコンテキストとして使用し、弱いラベル付きMRCインスタンスに変換する。
  論文  参考訳（メタデータ） (2021-02-01T23:18:58Z)
• Coreference Reasoning in Machine Reading Comprehension [100.75624364257429]
  機械読解におけるコレファレンス推論は,従来考えられていたよりも大きな課題である。 本稿では,コア参照推論の課題を反映した理解データセットの読解手法を提案する。 これにより、さまざまなMRCデータセットにまたがる最先端のモデルの推論能力が向上します。
  論文  参考訳（メタデータ） (2020-12-31T12:18:41Z)
• Machine Reading Comprehension: The Role of Contextualized Language Models and Beyond [85.53037880415734]
  機械読解 (MRC) は、機械に人間の言語を読み、理解するように教えることを目的としている。 深層ニューラルネットワークの爆発と文脈化された言語モデル(CLM)の進化により、MRCの研究は2つの大きなブレークスルーを経験した。
  論文  参考訳（メタデータ） (2020-05-13T10:58:50Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。