論文の概要: Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2106.03826v1
• Date: Mon, 7 Jun 2021 17:46:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 20:24:12.941084
• Title: Narrative Question Answering with Cutting-Edge Open-Domain QA Techniques: A Comprehensive Study
• Title（参考訳）: カットエッジオープンドメインQA技術を用いたナラティブ質問応答の総合的研究
• Authors: Xiangyang Mou, Chenghao Yang, Mo Yu, Bingsheng Yao, Xiaoxiao Guo, Saloni Potdar, Hui Su
• Abstract要約: 我々は,NarrativeQAデータセットについて,最先端ODQA技術を用いた実験でベンチマークを行った。 このことは、書籍のQAがもたらす課題を定量化し、発行された最先端技術がルージュ-Lの絶対的な改善として$sim$7%で進歩する。 その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。
• 参考スコア（独自算出の注目度）: 45.9120218818558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in open-domain question answering (ODQA), i.e., finding answers from large open-domain corpus like Wikipedia, have led to human-level performance on many datasets. However, progress in QA over book stories (Book QA) lags behind despite its similar task formulation to ODQA. This work provides a comprehensive and quantitative analysis about the difficulty of Book QA: (1) We benchmark the research on the NarrativeQA dataset with extensive experiments with cutting-edge ODQA techniques. This quantifies the challenges Book QA poses, as well as advances the published state-of-the-art with a $\sim$7\% absolute improvement on Rouge-L. (2) We further analyze the detailed challenges in Book QA through human studies.\footnote{\url{https://github.com/gorov/BookQA}.} Our findings indicate that the event-centric questions dominate this task, which exemplifies the inability of existing QA models to handle event-oriented scenarios.
• Abstract（参考訳）: オープンドメイン質問応答(ODQA)の最近の進歩、すなわちウィキペディアのような大きなオープンドメインコーパスからの回答は、多くのデータセット上で人間レベルのパフォーマンスをもたらしている。 しかし、本記事(書籍QA)に関するQAの進展は、ODQAに類似したタスクの定式化にもかかわらず遅れている。 本研究は,本書の難易度に関する包括的かつ定量的な分析を提供する。(1)ナラティブQAデータセットの研究を,最先端ODQA技術を用いた広範な実験でベンチマークする。 このことは、書籍QAがもたらす課題を定量化するとともに、出版物である書籍QAのルージュ-Lにおける絶対的な改善を$\sim$7\%で進める。(2) 人間の研究を通して、書籍QAの詳細な課題をさらに分析する。 その結果,イベント中心の質問がこのタスクを支配しており,イベント指向シナリオを扱うための既存のQAモデルの欠如を実証していることがわかった。

関連論文リスト

• DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs [3.24692739098077]
  オープンドメイン複合質問回答 (QA) は証拠検索と推論において難しい課題である。 我々は、オープンドメイン設定で、最先端の訓練済み高密度・スパース検索モデルを評価する。 BM25のような遅延相互作用モデルや驚くほど語彙的モデルは、事前訓練された高密度検索モデルと比較してよく機能する。
  論文  参考訳（メタデータ） (2024-06-24T22:09:50Z)
• IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions [54.23087908182134]
  本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。 IfQAデータセットには3,800以上の質問が含まれている。 IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
  論文  参考訳（メタデータ） (2023-05-23T12:43:19Z)
• Closed-book Question Generation via Contrastive Learning [20.644215991166895]
  コントラスト学習モジュールと回答再構成モジュールを併用した新しいQGモデルを提案する。 提案手法を応用して,既存のクローズドブックQAシステムを改善する方法について述べる。
  論文  参考訳（メタデータ） (2022-10-13T06:45:46Z)
• Modern Question Answering Datasets and Benchmarks: A Survey [5.026863544662493]
  質問回答(QA)は、自然言語処理(NLP)の最も重要なタスクの一つである。 NLP技術を用いて、大量の非構造化コーパスに基づいて、与えられた質問に対する対応する回答を生成することを目的としている。 本稿では,ディープラーニングの時代にリリースされた,影響力あるQAデータセットについて検討する。
  論文  参考訳（メタデータ） (2022-06-30T05:53:56Z)
• Multifaceted Improvements for Conversational Open-Domain Question Answering [54.913313912927045]
  対話型オープンドメイン質問回答(MICQA)のための多面的改善フレームワークを提案する。 第一に、提案したKL分割に基づく正規化は、検索と解答のためのより良い質問理解をもたらすことができる。 第二に、追加されたポストランカモジュールは、より関連性の高いパスをトップにプッシュし、2アスペクトの制約で読者に選択できる。 第3に、十分に設計されたカリキュラム学習戦略は、訓練と推論の黄金の通路設定のギャップを効果的に狭め、黄金の通路支援なしで真の答えを見つけることを奨励する。
  論文  参考訳（メタデータ） (2022-04-01T07:54:27Z)
• Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering [62.88322725956294]
  OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。 Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。 次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
  論文  参考訳（メタデータ） (2021-01-04T04:47:46Z)
• Frustratingly Hard Evidence Retrieval for QA Over Books [42.451721693007954]
  我々は、証拠検索に類似しているため、オープンドメインQAタスクとしてBookQAを定式化する。 最先端のオープンドメインQAアプローチがBookQAにどのように役立つかを検討する。
  論文  参考訳（メタデータ） (2020-07-20T04:10:08Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)
• Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering [98.48363619128108]
  擬似学習データを用いてQAモデルを訓練するための教師なしアプローチを提案する。 関連した検索文に簡単なテンプレートを適用してQA学習のための質問を生成すると、元の文脈文よりも、下流QAのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2020-04-24T17:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。