論文の概要: More Than Reading Comprehension: A Survey on Datasets and Metrics of
Textual Question Answering
- arxiv url: http://arxiv.org/abs/2109.12264v1
- Date: Sat, 25 Sep 2021 02:36:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 15:59:17.988900
- Title: More Than Reading Comprehension: A Survey on Datasets and Metrics of
Textual Question Answering
- Title（参考訳）: 読解理解以上のもの:テキスト質問回答のデータセットとメトリクスに関する調査
- Authors: Yang Bai, Daisy Zhe Wang
- Abstract要約: テキスト質問回答(英語: Textual Question Answering, QA)は、非構造化データを用いた自然言語におけるユーザの質問に対する正確な回答を提供することを目的としている。
本稿では,47の最近のテキストQAベンチマークデータセットを調査し,アプリケーションの観点から新しい分類法を提案する。
- 参考スコア（独自算出の注目度）: 7.776227936353711
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Textual Question Answering (QA) aims to provide precise answers to user's
questions in natural language using unstructured data. One of the most popular
approaches to this goal is machine reading comprehension(MRC). In recent years,
many novel datasets and evaluation metrics based on classical MRC tasks have
been proposed for broader textual QA tasks. In this paper, we survey 47 recent
textual QA benchmark datasets and propose a new taxonomy from an application
point of view. In addition, We summarize 8 evaluation metrics of textual QA
tasks. Finally, we discuss current trends in constructing textual QA benchmarks
and suggest directions for future work.
- Abstract（参考訳）: テキスト質問回答(英語: Textual Question Answering, QA)は、非構造化データを用いた自然言語におけるユーザの質問に対する正確な回答を提供することを目的としている。
この目標に対する最も一般的なアプローチの1つは、機械読解(MRC)である。
近年,従来のRCタスクに基づく新しいデータセットや評価指標が,より広範なテキストQAタスクのために提案されている。
本稿では,47の最近のテキストQAベンチマークデータセットを調査し,アプリケーションの観点から新しい分類法を提案する。
さらに,テキストQAタスクの評価指標を8つまとめる。
最後に,テキストQAベンチマークの構築動向について論じ,今後の作業の方向性を提案する。
関連論文リスト
- Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Fully Authentic Visual Question Answering Dataset from Online Communities [72.0524198499719]
VQA(Visual Question Answering)は、画像に関する質問に答える機能である。
VQAデータセットは、すべてのコンテンツが真正のユースケースから生まれたものである。
このデータセットと8つの主流VQAデータセットとの関係を特徴付ける。
論文 参考訳（メタデータ） (2023-11-27T06:19:00Z) - Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。
生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。
mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
論文 参考訳（メタデータ） (2023-10-25T08:10:04Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳（メタデータ） (2022-07-25T01:43:19Z) - Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。
NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。
本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
論文 参考訳（メタデータ） (2022-06-30T05:53:56Z) - AnswerSumm: A Manually-Curated Dataset and Pipeline for Answer
Summarization [73.91543616777064]
Stack OverflowやYahoo!のようなコミュニティ質問回答(CQA)フォーラムには、幅広いコミュニティベースの質問に対する回答の豊富なリソースが含まれている。
回答の要約の1つのゴールは、回答の視点の範囲を反映した要約を作成することである。
本研究は,専門言語学者による解答要約のための4,631個のCQAスレッドからなる新しいデータセットを導入する。
論文 参考訳（メタデータ） (2021-11-11T21:48:02Z) - SituatedQA: Incorporating Extra-Linguistic Contexts into QA [7.495151447459443]
SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。
質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。
我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
論文 参考訳（メタデータ） (2021-09-13T17:53:21Z) - TSQA: Tabular Scenario Based Question Answering [14.92495213480887]
シナリオベースの質問応答(SQA)が研究の関心を集めている。
本研究を支援するため,GeoTSQAを構築した。
テーブル・トゥ・テキストの新しいジェネレータであるTTGenにより、最新のMRCメソッドを拡張します。
論文 参考訳（メタデータ） (2021-01-14T02:00:33Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。