論文の概要: Question Answering over Electronic Devices: A New Benchmark Dataset and
a Multi-Task Learning based QA Framework
- arxiv url: http://arxiv.org/abs/2109.05897v2
- Date: Tue, 14 Sep 2021 05:37:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 13:37:18.358238
- Title: Question Answering over Electronic Devices: A New Benchmark Dataset and
a Multi-Task Learning based QA Framework
- Title（参考訳）: 電子デバイスに関する質問応答:新しいベンチマークデータセットとマルチタスク学習ベースのQAフレームワーク
- Authors: Abhilash Nandy, Soumya Sharma, Shubham Maddhashiya, Kapil Sachdeva,
Pawan Goyal, Niloy Ganguly
- Abstract要約: 我々は307,957個のEマニュアルからなる巨大なコーパスを作成し、この大きなコーパス上でRoBERTaを事前訓練する。
EMQAP(E-Manual Question Answering Pipeline)を導入し、電子機器に関する質問に答える。
E- Manual Annotated Question-Awer pairs に対して,ROUGE-L F1 スコアは最も競争力のあるベースラインよりも約40%向上した。
- 参考スコア（独自算出の注目度）: 18.255521820251733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Answering questions asked from instructional corpora such as E-manuals,
recipe books, etc., has been far less studied than open-domain factoid
context-based question answering. This can be primarily attributed to the
absence of standard benchmark datasets. In this paper we meticulously create a
large amount of data connected with E-manuals and develop suitable algorithm to
exploit it. We collect E-Manual Corpus, a huge corpus of 307,957 E-manuals and
pretrain RoBERTa on this large corpus. We create various benchmark QA datasets
which include question answer pairs curated by experts based upon two
E-manuals, real user questions from Community Question Answering Forum
pertaining to E-manuals etc. We introduce EMQAP (E-Manual Question Answering
Pipeline) that answers questions pertaining to electronics devices. Built upon
the pretrained RoBERTa, it harbors a supervised multi-task learning framework
which efficiently performs the dual tasks of identifying the section in the
E-manual where the answer can be found and the exact answer span within that
section. For E-Manual annotated question-answer pairs, we show an improvement
of about 40% in ROUGE-L F1 scores over the most competitive baseline. We
perform a detailed ablation study and establish the versatility of EMQAP across
different circumstances. The code and datasets are shared at
https://github.com/abhi1nandy2/EMNLP-2021-Findings, and the corresponding
project website is https://sites.google.com/view/emanualqa/home.
- Abstract（参考訳）: Eマニュアルやレシピブックなどの教示コーパスからの質問に対する回答は、オープンドメインのファクトイドな文脈に基づく質問応答よりもはるかに少ない。
これは主に標準ベンチマークデータセットがないためである。
本稿では,Eマニュアルに関連付けられた大量のデータを慎重に生成し,その利用に適したアルゴリズムを開発する。
我々は,307,957個のe-manualsの巨大なコーパスであるe-manual corpusを収集し,この大きなコーパス上でrobertaを事前学習する。
2つのEマニュアルに基づいて専門家がキュレートした質問応答ペア、Eマニュアルに関するコミュニティ質問回答フォーラムの実際のユーザ質問など、さまざまなベンチマークQAデータセットを作成します。
EMQAP(E-Manual Question Answering Pipeline)を導入し、電子機器に関する質問に答える。
事前訓練されたRoBERTaの上に構築され、教師付きマルチタスク学習フレームワークが組み込まれており、このフレームワークは、解答の発見可能なEマニュアル内のセクションを識別し、そのセクション内に正確な回答を分散する2つのタスクを効率的に実行する。
E- Manual Annotated Question-Awer pairs に対して,ROUGE-L F1 スコアは最も競争力のあるベースラインよりも約40%向上した。
詳細なアブレーション研究を行い、異なる状況におけるEMQAPの汎用性を確立する。
コードとデータセットはhttps://github.com/abhi1nandy2/EMNLP-2021-Findingsで共有されている。
関連論文リスト
- QUADRo: Dataset and Models for QUestion-Answer Database Retrieval [97.84448420852854]
質問/回答(q/a)ペアのデータベース(DB)が与えられた場合、同じ質問に対してDBをスキャンすることで、対象の質問に答えることができる。
我々は6.3Mのq/aペアからなる大規模DBを構築し、公開質問を用いて、ニューラルIRとq/aペアリランカに基づく新しいシステムを設計する。
我々は、Bing検索エンジン上に構築されたQAシステムという、Webベースの手法とDBベースのアプローチが競合することを示す。
論文 参考訳（メタデータ） (2023-03-30T00:42:07Z) - LIQUID: A Framework for List Question Answering Dataset Generation [17.86721740779611]
ラベルなしコーパスからリストQAデータセットを生成するためのフレームワークであるLIQUIDを提案する。
まず、ウィキペディアまたはPubMedからの節を要約に変換し、要約されたテキストから名前付きエンティティを候補回答として抽出する。
次に、抽出されたエンティティと元のパスを含む既成の質問生成器を用いて質問を生成する。
合成データを用いて,MultiSpanQAでは5.0点,Quorefでは1.9点,BioASQベンチマークでは2.8点の精度で,過去のベストリストQAモデルの性能を大幅に向上させた。
論文 参考訳（メタデータ） (2023-02-03T12:42:45Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳（メタデータ） (2022-12-02T04:08:09Z) - Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。
NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。
本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
論文 参考訳（メタデータ） (2022-06-30T05:53:56Z) - QAMPARI: An Open-domain Question Answering Benchmark for Questions with
Many Answers from Multiple Paragraphs [42.843866049949206]
本稿では,質問応答がエンティティのリストであるODQAベンチマークであるQAMPARIを紹介する。
我々は、(a)ウィキペディアの知識グラフと表から複数の回答で質問を生成することによりQAMPARIを作成し、(b)ウィキペディアの段落で裏付ける証拠と自動的に回答をペアリングし、(c)質問を手動で言い換え、各回答を検証することで、QAMPARIを作成する。
我々は、検索・読解系からODQAモデルを訓練し、QAMPARIは経路検索と解答生成の両方の観点から困難であり、F1スコアが32.8に達することを発見した。
論文 参考訳（メタデータ） (2022-05-25T11:21:30Z) - Zero-Shot Open-Book Question Answering [0.0]
本稿では,ドメイン固有のラベル付きデータ(ゼロショット)を持たない技術文書から自然言語質問に答えるソリューションを提案する。
私たちは、AWSのテクニカルドキュメントに関する実際の顧客からの質問に基づいて、オープンブックのQAのための新しいテストデータセットを導入しています。
ドメイン固有のトレーニングなしで、49%のF1と39%の正確なスコア(EM)をエンドツーエンドで達成できたのです。
論文 参考訳（メタデータ） (2021-11-22T20:38:41Z) - Learning with Instance Bundles for Reading Comprehension [61.823444215188296]
質問応答スコアを複数の関連インスタンスで比較する新しい監視手法を提案する。
具体的には、密接に対照的な質問や回答のさまざまな近所でこれらのスコアを正規化します。
2つのデータセット上のインスタンスバンドルによるトレーニングの有効性を実証的に実証する。
論文 参考訳（メタデータ） (2021-04-18T06:17:54Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z) - Open Question Answering over Tables and Text [55.8412170633547]
オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。
ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。
我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
論文 参考訳（メタデータ） (2020-10-20T16:48:14Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。