論文の概要: Efficient Passage Retrieval with Hashing for Open-domain Question Answering

• arxiv url: http://arxiv.org/abs/2106.00882v1
• Date: Wed, 2 Jun 2021 01:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:26:57.339243
• Title: Efficient Passage Retrieval with Hashing for Open-domain Question Answering
• Title（参考訳）: オープンドメイン質問応答のためのハッシュを用いた効率よいパス検索
• Authors: Ikuya Yamada, Akari Asai, Hannaneh Hajishirzi
• Abstract要約: 本稿では,メモリ効率の高いニューラル検索モデルであるBinary Passage Retriever(BPR)を紹介する。 BPRは、最先端のDense Passage Retrieverに学習からハッシュ技術を統合する。 DPRと比較して、BPRはメモリコストを65GBから2GBに大幅に削減し、精度を損なう。
• 参考スコア（独自算出の注目度）: 37.41707616728358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most state-of-the-art open-domain question answering systems use a neural retrieval model to encode passages into continuous vectors and extract them from a knowledge source. However, such retrieval models often require large memory to run because of the massive size of their passage index. In this paper, we introduce Binary Passage Retriever (BPR), a memory-efficient neural retrieval model that integrates a learning-to-hash technique into the state-of-the-art Dense Passage Retriever (DPR) to represent the passage index using compact binary codes rather than continuous vectors. BPR is trained with a multi-task objective over two tasks: efficient candidate generation based on binary codes and accurate reranking based on continuous vectors. Compared with DPR, BPR substantially reduces the memory cost from 65GB to 2GB without a loss of accuracy on two standard open-domain question answering benchmarks: Natural Questions and TriviaQA. Our code and trained models are available at https://github.com/studio-ousia/bpr.
• Abstract（参考訳）: ほとんどの最先端のオープンドメイン質問応答システムは、ニューラルネットワークモデルを使用して、パスを連続ベクトルにエンコードし、知識ソースから抽出する。 しかし、そのような検索モデルは、パスインデックスの巨大なサイズのため、大きなメモリを必要とすることが多い。 本稿では,dpr(state-of-the-art dense passage retriever)に学習・ハッシュ手法を統合し,連続ベクトルではなくコンパクトなバイナリコードを用いてパスインデックスを表現する,メモリ効率のよいニューラルネットワーク検索モデルであるbinary passage retriever(bpr)を提案する。 bprは、バイナリコードに基づく効率的な候補生成と、連続ベクトルに基づく正確な再ランキングの2つのタスクでマルチタスクの目的で訓練される。 DPRと比較して、BPRは2つの標準オープンドメイン質問応答ベンチマークであるNatural QuestionsとTriviaQAにおいて、メモリコストを65GBから2GBに大幅に削減する。 私たちのコードとトレーニングされたモデルは、https://github.com/studio-ousia/bprで利用可能です。

関連論文リスト

• FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection [61.9638234358049]
  FastFiDは、エンコードされたパスで文の選択を実行する新しいアプローチである。 これにより、価値ある文を保持するのに役立ち、回答を生成するのに必要な文脈長を減らすことができる。
  論文  参考訳（メタデータ） (2024-08-12T17:50:02Z)
• Reranking Passages with Coarse-to-Fine Neural Retriever Enhanced by List-Context Information [0.9463895540925061]
  本稿では、他の候補からリストコンテキスト情報を取り入れることで、文節表現を増強するリストコンテキストアテンション機構を提案する。 The proposed coarse-to-fine neural retriever address the out-of-Memory limitation of the passage attention mechanism。 粗いランク付けと細かなランク付けを共同最適化プロセスに統合することで、2つのレイヤ間のフィードバックを同時に更新することが可能になる。
  論文  参考訳（メタデータ） (2023-08-23T09:29:29Z)
• CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
  マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。 これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。 動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
  論文  参考訳（メタデータ） (2022-11-18T18:27:35Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• A Memory Efficient Baseline for Open Domain Question Answering [22.16527305568442]
  高密度レトリバーリーダーシステムのメモリフットプリントの低減方法を検討する。 本稿では,次元削減,ベクトル量子化,通過フィルタリングの3つの手法について考察する。 我々は,TriviaQAとNaturalQuestionsという2つの質問応答ベンチマークに対するアプローチを評価し,6Gb未満のメモリで競合するシステムを実現できることを示した。
  論文  参考訳（メタデータ） (2020-12-30T13:46:06Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。