論文の概要: End-to-End Training of Neural Retrievers for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2101.00408v1
• Date: Sat, 2 Jan 2021 09:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 07:22:31.475314
• Title: End-to-End Training of Neural Retrievers for Open-Domain Question Answering
• Title（参考訳）: オープンドメイン質問応答のためのニューラルレトリバーのエンドツーエンドトレーニング
• Authors: Devendra Singh Sachan and Mostofa Patwary and Mohammad Shoeybi and Neel Kant and Wei Ping and William L Hamilton and Bryan Catanzaro
• Abstract要約: ニューラルレトリバーに対して、非監視および監督された方法が最も効果的に使用できるかは不明である。 Inverse Cloze Taskとマスク付きサラエントスパンによる教師なしプリトレーニングのアプローチを提案します。 また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。
• 参考スコア（独自算出の注目度）: 32.747113232867825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on training neural retrievers for open-domain question answering (OpenQA) has employed both supervised and unsupervised approaches. However, it remains unclear how unsupervised and supervised methods can be used most effectively for neural retrievers. In this work, we systematically study retriever pre-training. We first propose an approach of unsupervised pre-training with the Inverse Cloze Task and masked salient spans, followed by supervised finetuning using question-context pairs. This approach leads to absolute gains of 2+ points over the previous best result in the top-20 retrieval accuracy on Natural Questions and TriviaQA datasets. We also explore two approaches for end-to-end supervised training of the reader and retriever components in OpenQA models. In the first approach, the reader considers each retrieved document separately while in the second approach, the reader considers all the retrieved documents together. Our experiments demonstrate the effectiveness of these approaches as we obtain new state-of-the-art results. On the Natural Questions dataset, we obtain a top-20 retrieval accuracy of 84, an improvement of 5 points over the recent DPR model. In addition, we achieve good results on answer extraction, outperforming recent models like REALM and RAG by 3+ points. We further scale up end-to-end training to large models and show consistent gains in performance over smaller models.
• Abstract（参考訳）: オープンドメイン質問応答(OpenQA)のためのニューラルレトリバーのトレーニングに関する最近の研究は、教師なしと教師なしの両方のアプローチを採用している。 しかし, 神経検索において, 教師なし, 教師なしの手法が効果的に利用できるかは, いまだ不明である。 本研究では,レトリバーの事前学習を体系的に研究する。 Inverse Cloze Taskとマスク付きサルエントスパンによる教師なし事前学習のアプローチをまず提案し,続いて質問文ペアを用いた教師付き微調整を行った。 このアプローチは、Natural QuestionsとTriviaQAデータセット上のトップ20検索精度において、前回の最高値よりも2以上の絶対的なゲインをもたらす。 また,OpenQAモデルにおけるリーダとレシーバコンポーネントのエンドツーエンド教師付きトレーニングのための2つのアプローチについても検討する。 第1のアプローチでは、読者は検索した文書を別々に検討し、第2のアプローチでは、検索した文書はすべて一緒に検討する。 実験は,新たな最先端の成果を得る際に,これらの手法の有効性を示す。 また,Natural Questionsデータセットでは,最新のDPRモデルよりも5ポイント向上し,検索精度が84の上位20点を得た。 さらに,REALMやRAGといった最近のモデルよりも3点以上優れた解答抽出結果が得られる。 さらに,エンド・ツー・エンドのトレーニングを大規模モデルにスケールアップし,小規模モデルに対するパフォーマンスの一貫した向上を示す。

関連論文リスト

• End-to-End Trainable Soft Retriever for Low-resource Relation Extraction [7.613942320502336]
  本研究は,テキスト生成モデルを用いたインスタンスベースの関係抽出における重要な課題に対処する。 本稿では, ニューラルプロンプト法により, エンド・ツー・エンドのトラインブル・ソフトKアネレスト・リトリーバー (ETRASK) を提案する。
  論文  参考訳（メタデータ） (2024-06-06T07:01:50Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Unsupervised Dense Retrieval Deserves Better Positive Pairs: Scalable Augmentation with Query Extraction and Generation [27.391814046104646]
  擬似クエリ文書ペアを作成する方法,名前付きクエリ抽出(QExt)と転送クエリ生成(TQGen)の2つのカテゴリについて検討する。 QExt は文書構造によって擬似クエリを抽出し、また、TQGen は他の NLP タスクのために訓練された生成モデルを利用する。 実験により、個々の拡張法で訓練された高密度レトリバーは、複数の強いベースラインと相容れない性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-12-17T10:43:25Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
  オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。 再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
  論文  参考訳（メタデータ） (2022-04-15T14:51:41Z)
• Learning to Retrieve Passages without Supervision [58.31911597824848]
  オープンドメイン質問応答(ODQA)のためのダンスレトリバーは,問合せペアの大規模データセットをトレーニングすることで,優れた性能を発揮することが示されている。 そこで本研究では,自己教師型で高密度検索が学べるかどうかを考察し,アノテーションを使わずに効果的に適用する。
  論文  参考訳（メタデータ） (2021-12-14T19:18:08Z)
• RewardsOfSum: Exploring Reinforcement Learning Rewards for Summarisation [7.0471949371778795]
  本稿では,抽象的な要約作業に対する2つの報酬関数を提案する。 最初の関数はRwB-Hingeと呼ばれ、勾配更新のサンプルを動的に選択する。 第2の機能はRISKと呼ばれ、強力な候補者の小さなプールを利用して報酬を知らせる。
  論文  参考訳（メタデータ） (2021-06-08T03:30:50Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。