論文の概要: End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2106.05346v1
• Date: Wed, 9 Jun 2021 19:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:36:28.906445
• Title: End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering
• Title（参考訳）: オープンドメイン質問応答のためのマルチドキュメントリーダとレトリバーのエンドツーエンドトレーニング
• Authors: Devendra Singh Sachan and Siva Reddy and William Hamilton and Chris Dyer and Dani Yogatama
• Abstract要約: 本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。 我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。 提案手法は,一致点の精度を2～3%向上させる。
• 参考スコア（独自算出の注目度）: 36.80395759543162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an end-to-end differentiable training method for retrieval-augmented open-domain question answering systems that combine information from multiple retrieved documents when generating answers. We model retrieval decisions as latent variables over sets of relevant documents. Since marginalizing over sets of retrieved documents is computationally hard, we approximate this using an expectation-maximization algorithm. We iteratively estimate the value of our latent variable (the set of relevant documents for a given question) and then use this estimate to update the retriever and reader parameters. We hypothesize that such end-to-end training allows training signals to flow to the reader and then to the retriever better than staged-wise training. This results in a retriever that is able to select more relevant documents for a question and a reader that is trained on more accurate documents to generate an answer. Experiments on three benchmark datasets demonstrate that our proposed method outperforms all existing approaches of comparable size by 2-3% absolute exact match points, achieving new state-of-the-art results. Our results also demonstrate the feasibility of learning to retrieve to improve answer generation without explicit supervision of retrieval decisions.
• Abstract（参考訳）: 本稿では,複数の検索文書からの情報を結合して回答を生成するオープンドメイン質問応答システムのための,エンドツーエンドの識別可能な学習手法を提案する。 検索判断を関連文書の集合上の潜在変数としてモデル化する。 検索された文書の集合の辺縁化は計算が難しいので,期待最大化アルゴリズムを用いて近似する。 潜在変数(ある質問に対する関連する文書の集合)の値を反復的に推定し、この推定値を使ってレトリバーとリーダーパラメータを更新します。 このようなエンドツーエンドのトレーニングは、トレーニングシグナルが読み手へ流れて、段階的なトレーニングよりもレトリバーへ流れることを想定しています。 これにより、質問に対してより関連性の高い文書を選択できるレトリバーと、より正確な文書で訓練された読者が回答を生成する。 3つのベンチマークデータセットにおける実験により,提案手法が既存の2～3%の絶対的一致点を上回り,新たな最先端結果が得られることを示した。 また,検索判断を明示的に管理することなく,回答生成を改善するための学習の可能性を示す。

関連論文リスト

• Improve Dense Passage Retrieval with Entailment Tuning [22.39221206192245]
  検索システムの鍵となるのは、クエリとパスペアの関連スコアを計算することである。 我々は、NLIタスクにおけるエンテーメントの概念と、関連性の主要なクラスが一致していることを観察した。 我々は,高密度レトリバーの埋め込みを改善するために,エンテーメントチューニングと呼ばれる手法を設計する。
  論文  参考訳（メタデータ） (2024-10-21T09:18:30Z)
• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Non-Parametric Memory Guidance for Multi-Document Summarization [0.0]
  本稿では,非パラメトリックメモリと組み合わせたレトリバー誘導モデルを提案する。 このモデルはデータベースから関連する候補を検索し、その候補をコピー機構とソースドキュメントで考慮して要約を生成する。 本手法は,学術論文を含むMultiXScienceデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-11-14T07:41:48Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• CODER: An efficient framework for improving retrieval through COntextualized Document Embedding Reranking [11.635294568328625]
  本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。 ベース密度検索法により抽出された事前計算された文書表現を利用する。 実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
  論文  参考訳（メタデータ） (2021-12-16T10:25:26Z)
• Weakly Supervised Pre-Training for Multi-Hop Retriever [23.79574380039197]
  本研究では,人的努力を伴わない,弱教師付きマルチホップレトリバーの事前学習手法を提案する。 提案手法は,1)複雑な質問のベクトル表現を生成するための事前学習タスク,2)厳密なエンコーダに基づく事前学習モデル構造として,質問とサブクエストのネスト構造を生成するスケーラブルなデータ生成手法を含む。
  論文  参考訳（メタデータ） (2021-06-18T08:06:02Z)
• Distilling Knowledge from Reader to Retriever for Question Answering [16.942581590186343]
  我々は,知識蒸留に触発された下流タスクのレトリバーモデルを学ぶ手法を提案する。 質問応答の方法を評価し,最新の結果を得た。
  論文  参考訳（メタデータ） (2020-12-08T17:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。