論文の概要: IIRC: A Dataset of Incomplete Information Reading Comprehension Questions

• arxiv url: http://arxiv.org/abs/2011.07127v1
• Date: Fri, 13 Nov 2020 20:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 00:01:30.905149
• Title: IIRC: A Dataset of Incomplete Information Reading Comprehension Questions
• Title（参考訳）: iirc: 理解質問を読み取る不完全な情報のデータセット
• Authors: James Ferguson, Matt Gardner, Hannaneh Hajishirzi, Tushar Khot, Pradeep Dasigi
• Abstract要約: 我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。 質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。 我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
• 参考スコア（独自算出の注目度）: 53.3193258414806
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Humans often have to read multiple documents to address their information needs. However, most existing reading comprehension (RC) tasks only focus on questions for which the contexts provide all the information required to answer them, thus not evaluating a system's performance at identifying a potential lack of sufficient information and locating sources for that information. To fill this gap, we present a dataset, IIRC, with more than 13K questions over paragraphs from English Wikipedia that provide only partial information to answer them, with the missing information occurring in one or more linked documents. The questions were written by crowd workers who did not have access to any of the linked documents, leading to questions that have little lexical overlap with the contexts where the answers appear. This process also gave many questions without answers, and those that require discrete reasoning, increasing the difficulty of the task. We follow recent modeling work on various reading comprehension datasets to construct a baseline model for this dataset, finding that it achieves 31.1% F1 on this task, while estimated human performance is 88.4%. The dataset, code for the baseline system, and a leaderboard can be found at https://allennlp.org/iirc.
• Abstract（参考訳）: 人間はしばしば、情報ニーズに対応するために複数の文書を読まなければならない。 しかし、既存の読解理解(RC)タスクの多くは、文脈がそれらに答えるために必要な全ての情報を提供する質問にのみ焦点を合わせており、十分な情報の欠如やその情報の情報源の特定に関するシステムの性能評価は行っていない。 このギャップを埋めるために,1つ以上のリンクされた文書に欠落した情報を含む部分的な情報のみを提供する,英語wikipediaの段落に1万5千以上の質問を含むデータセット,iircを提案する。 質問は、リンクされた文書にアクセスできない群衆労働者によって書かれており、回答が現れるコンテキストとほとんど語彙的に重複しない質問につながった。 このプロセスはまた、答えのない多くの質問をし、個別の推論を必要とする質問はタスクの難しさを増した。 我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従い、このタスクで31.1%のF1を達成し、人間のパフォーマンスは88.4%と見積もられている。 データセット、ベースラインシステムのコード、およびリーダーボードはhttps://allennlp.org/iirc.org.com/で見ることができる。

関連論文リスト

• PCoQA: Persian Conversational Question Answering Dataset [12.07607688189035]
  PCoQAデータセットは、9,026のコンテキスト駆動質問を含む情報検索ダイアログを含むリソースである。 PCoQAは、以前の質問応答データセットと比較して、新しい課題を示すように設計されている。 本稿では,PCoQAデータセットを包括的に提示するだけでなく,各種ベンチマークモデルの性能も報告する。
  論文  参考訳（メタデータ） (2023-12-07T15:29:34Z)
• COVIDRead: A Large-scale Question Answering Dataset on COVID-19 [41.23094507923245]
  非常に重要なリソースであるCOVIDReadは、SQuAD(Stanford Question Answering dataset)に似たデータセットで、100万以上の質問と回答のペアです。 これは、この非常に珍しい病気に関する一般大衆の問い合わせから、編集者や雑誌編集者による記事管理まで、多くの目的に役立てることができる貴重なリソースである。 いくつかのエンドツーエンドニューラルネットワークベースのベースラインモデルを構築し、最低F1が32.03%、最高F1が37.19%に達する。
  論文  参考訳（メタデータ） (2021-10-05T07:38:06Z)
• PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge Graph [0.0]
  本稿では,ペルシャ語質問応答のためのデータセットである textitPeCoQ を紹介する。 このデータセットには、ペルシャの知識グラフであるFarsBaseから抽出された1万の複雑な質問と回答が含まれている。 データセットには、マルチリレーション、マルチエンタリティ、順序性、時間的制約など、さまざまな種類の複雑さがある。
  論文  参考訳（メタデータ） (2021-06-27T08:21:23Z)
• A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers [66.11048565324468]
  1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。 各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。 他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
  論文  参考訳（メタデータ） (2021-05-07T00:12:34Z)
• MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
  テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。 大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。 次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
  論文  参考訳（メタデータ） (2021-04-13T09:14:28Z)
• ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks [47.12013005600986]
  我々は,120万以上の人間ラベル質問を含む大規模構成質問応答データセットを提案する。 ComQA問題に対処するために,低レベル語から高レベル語までの文書を表す階層型グラフニューラルネットワークを提案する。 提案モデルは,先行する機械読解法や事前学習法に比べて大幅に改善する。
  論文  参考訳（メタデータ） (2021-01-16T08:23:27Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。