論文の概要: Is Retriever Merely an Approximator of Reader?
- arxiv url: http://arxiv.org/abs/2010.10999v1
- Date: Wed, 21 Oct 2020 13:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 00:00:49.649539
- Title: Is Retriever Merely an Approximator of Reader?
- Title(参考訳): Retrieverは単なる読者の近似器か?
- Authors: Sohee Yang, Minjoon Seo
- Abstract要約: 読み手と受け手は,精度の点でのみ相補的であることを示す。
我々は,レトリバーにリーダを蒸留し,レトリバーが読者の強度を吸収し,自身の利益を維持することを提案する。
- 参考スコア(独自算出の注目度): 27.306407064073177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The state of the art in open-domain question answering (QA) relies on an
efficient retriever that drastically reduces the search space for the expensive
reader. A rather overlooked question in the community is the relationship
between the retriever and the reader, and in particular, if the whole purpose
of the retriever is just a fast approximation for the reader. Our empirical
evidence indicates that the answer is no, and that the reader and the retriever
are complementary to each other even in terms of accuracy only. We make a
careful conjecture that the architectural constraint of the retriever, which
has been originally intended for enabling approximate search, seems to also
make the model more robust in large-scale search. We then propose to distill
the reader into the retriever so that the retriever absorbs the strength of the
reader while keeping its own benefit. Experimental results show that our method
can enhance the document recall rate as well as the end-to-end QA accuracy of
off-the-shelf retrievers in open-domain QA tasks.
- Abstract(参考訳): オープンドメイン質問応答(QA)における技術の現状は、高価な読者の検索スペースを大幅に削減する効率的なレトリバーに依存している。
コミュニティで見落とされがちな質問は、レトリバーと読者の関係であり、特に、レトリバーの目的が読者の高速な近似である場合である。
我々の経験的証拠は、答えはノーであり、読者とレトリバーは、正確性の観点からも相補的であることを示している。
また,従来は近似探索を意図していた検索者の構造的制約が,大規模探索においてモデルをより堅牢にすることが示唆された。
次に,レトリバーに読み手を蒸留することで,読み手の強さを吸収し,自己の利益を享受できるようにする。
実験の結果,オープンドメインQAタスクにおいて,本手法は文書のリコール率と,市販QAタスクのエンドツーエンドQA精度を向上させることができることがわかった。
関連論文リスト
- Beyond Relevance: Evaluate and Improve Retrievers on Perspective Awareness [56.42192735214931]
検索者は、ドキュメントとクエリ間のセマンティックな関連性に頼るだけでなく、ユーザクエリの背後にある微妙な意図や視点を認識することも期待されている。
本研究では,検索者がクエリの異なる視点を認識し,応答できるかどうかを検討する。
我々は,現在の検索者はクエリにおいて微妙に異なる視点に対する認識が限られており,特定の視点に偏りがあることを示す。
論文 参考訳(メタデータ) (2024-05-04T17:10:00Z) - Bidirectional End-to-End Learning of Retriever-Reader Paradigm for Entity Linking [57.44361768117688]
RetrieverとReaderのための双方向エンドツーエンドトレーニングフレームワークであるBEER$2$を提案する。
設計した双方向のエンドツーエンドトレーニングを通じて、BEER$2$は、レトリバーとリーダーをガイドし、互いに学び、一緒に前進し、最終的にELパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-06-21T13:04:30Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。
本稿では,リランカを利用してリコールを改善する手法を提案する。
論文 参考訳(メタデータ) (2023-05-19T15:30:33Z) - End-to-End Training of Multi-Document Reader and Retriever for
Open-Domain Question Answering [36.80395759543162]
本稿では,検索拡張されたオープンドメイン質問応答システムに対するエンドツーエンドの差別化学習手法を提案する。
我々は,検索決定を関連文書の集合よりも遅延変数としてモデル化する。
提案手法は,一致点の精度を2~3%向上させる。
論文 参考訳(メタデータ) (2021-06-09T19:25:37Z) - Reader-Guided Passage Reranking for Open-Domain Question Answering [103.18340682345533]
シンプルで効果的なパスリランク方式であるReader-guided Reranker(Rider)を提案します。
riderは、トップ1の検索精度で10〜20の絶対的なゲインを達成し、1〜4の正確なマッチ(em)スコアを得る。
RiderはNatural Questionsデータセットで48.3EM、TriviaQAデータセットで66.4を達成し、1,024トークン(平均7.8パス)のみをリーダー入力として使用します。
論文 参考訳(メタデータ) (2021-01-01T18:54:19Z) - Distilling Knowledge from Reader to Retriever for Question Answering [16.942581590186343]
我々は,知識蒸留に触発された下流タスクのレトリバーモデルを学ぶ手法を提案する。
質問応答の方法を評価し,最新の結果を得た。
論文 参考訳(メタデータ) (2020-12-08T17:36:34Z) - Open-Domain Question Answering with Pre-Constructed Question Spaces [70.13619499853756]
オープンドメインの質問応答は、大量の文書の集合の中でユーザ生成した質問に対する回答を見つけるという課題を解決することを目的としている。
ソリューションには、レトリバーリーダーとナレッジグラフベースのアプローチの2つのファミリーがある。
本稿では,両家系と異なるリーダ・リトリバー構造を持つ新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-02T04:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。