論文の概要: Zero-Shot Open-Book Question Answering

• arxiv url: http://arxiv.org/abs/2111.11520v1
• Date: Mon, 22 Nov 2021 20:38:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 14:35:31.140867
• Title: Zero-Shot Open-Book Question Answering
• Title（参考訳）: ゼロショットオープンブック質問応答
• Authors: Sia Gholami and Mehdi Noori
• Abstract要約: 本稿では,ドメイン固有のラベル付きデータ(ゼロショット)を持たない技術文書から自然言語質問に答えるソリューションを提案する。 私たちは、AWSのテクニカルドキュメントに関する実際の顧客からの質問に基づいて、オープンブックのQAのための新しいテストデータセットを導入しています。 ドメイン固有のトレーニングなしで、49%のF1と39%の正確なスコア(EM)をエンドツーエンドで達成できたのです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Open book question answering is a subset of question answering tasks where the system aims to find answers in a given set of documents (open-book) and common knowledge about a topic. This article proposes a solution for answering natural language questions from a corpus of Amazon Web Services (AWS) technical documents with no domain-specific labeled data (zero-shot). These questions can have yes-no-none answers, short answers, long answers, or any combination of the above. This solution comprises a two-step architecture in which a retriever finds the right document and an extractor finds the answers in the retrieved document. We are introducing a new test dataset for open-book QA based on real customer questions on AWS technical documentation. After experimenting with several information retrieval systems and extractor models based on extractive language models, the solution attempts to find the yes-no-none answers and text answers in the same pass. The model is trained on the The Stanford Question Answering Dataset - SQuAD (Rajpurkaret al., 2016) and Natural Questions (Kwiatkowski et al., 2019) datasets. We were able to achieve 49% F1 and 39% exact match score (EM) end-to-end with no domain-specific training.
• Abstract（参考訳）: オープンブック質問応答(Open Book Question answering)とは、特定の文書(オープンブック)の集合とトピックに関する共通知識に答えを見つけることを目的とした質問応答タスクのサブセットである。 この記事では、ドメイン固有のラベル付きデータ(ゼロショット)を持たないAmazon Web Services(AWS)技術ドキュメントのコーパスから、自然言語の質問に答えるソリューションを提案する。 これらの質問には、イエスノー回答、短い回答、長い回答、または上記の組み合わせがある。 このソリューションは、検索者が正しい文書を見つけ、抽出者が検索した文書の回答を見つける2段階のアーキテクチャを含む。 私たちは、AWSのテクニカルドキュメントに関する実際の顧客からの質問に基づいて、オープンブックのQAのための新しいテストデータセットを導入しています。 抽出言語モデルに基づく複数の情報検索システムと抽出器モデルを実験した後、この解法はイエスノーノー回答とテキスト回答を同じパスで見つけ出そうとする。 このモデルはThe Stanford Question Answering Dataset - SQuAD (Rajpurkaret al., 2016) と Natural Questions (Kwiatkowski et al., 2019) のデータセットでトレーニングされている。 49%のF1と39%の正確な一致スコア(EM)をドメイン固有のトレーニングなしで達成できた。

関連論文リスト

• PCoQA: Persian Conversational Question Answering Dataset [12.07607688189035]
  PCoQAデータセットは、9,026のコンテキスト駆動質問を含む情報検索ダイアログを含むリソースである。 PCoQAは、以前の質問応答データセットと比較して、新しい課題を示すように設計されている。 本稿では,PCoQAデータセットを包括的に提示するだけでなく,各種ベンチマークモデルの性能も報告する。
  論文  参考訳（メタデータ） (2023-12-07T15:29:34Z)
• Open-Set Knowledge-Based Visual Question Answering with Inference Paths [79.55742631375063]
  知識に基づく視覚的質問回答(KB-VQA)の目的は、外部知識ベースの助けを借りて質問に対する正しい回答を提供することである。 KB-VQA, Graph pATH ranker (GATHER for brevity) の新しいレトリバーランカパラダイムを提案する。 具体的には、グラフの構築、プルーニング、パスレベルのランク付けが含まれており、正確な回答を検索するだけでなく、推論パスを提供して推論プロセスを説明する。
  論文  参考訳（メタデータ） (2023-10-12T09:12:50Z)
• ConditionalQA: A Complex Reading Comprehension Dataset with Conditional Answers [93.55268936974971]
  条件付き回答を含む複雑な質問を含む質問回答データセットについて述べる。 このデータセットを ConditionalQA と呼びます。 本稿では,既存のQAモデルの多く,特に回答条件の選択において,ConditionalQAは困難であることを示す。
  論文  参考訳（メタデータ） (2021-10-13T17:16:46Z)
• ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks [47.12013005600986]
  我々は,120万以上の人間ラベル質問を含む大規模構成質問応答データセットを提案する。 ComQA問題に対処するために,低レベル語から高レベル語までの文書を表す階層型グラフニューラルネットワークを提案する。 提案モデルは,先行する機械読解法や事前学習法に比べて大幅に改善する。
  論文  参考訳（メタデータ） (2021-01-16T08:23:27Z)
• IIRC: A Dataset of Incomplete Information Reading Comprehension Questions [53.3193258414806]
  我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。 質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。 我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
  論文  参考訳（メタデータ） (2020-11-13T20:59:21Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Revisiting the Open-Domain Question Answering Pipeline [0.23204178451683266]
  本稿では,新たなマルチステージパイプラインで構成されるオープンドメインQAシステムであるMindstoneについて述べる。 我々は,新しいパイプラインが低解像度ラベルの使用を可能にし,様々なタイミング要求を満たすように容易に調整できることを示す。
  論文  参考訳（メタデータ） (2020-09-02T09:34:14Z)
• Open-Domain Question Answering with Pre-Constructed Question Spaces [70.13619499853756]
  オープンドメインの質問応答は、大量の文書の集合の中でユーザ生成した質問に対する回答を見つけるという課題を解決することを目的としている。 ソリューションには、レトリバーリーダーとナレッジグラフベースのアプローチの2つのファミリーがある。 本稿では,両家系と異なるリーダ・リトリバー構造を持つ新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-02T04:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。