論文の概要: Pruning the Index Contents for Memory Efficient Open-Domain QA

• arxiv url: http://arxiv.org/abs/2102.10697v1
• Date: Sun, 21 Feb 2021 21:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 16:21:27.097811
• Title: Pruning the Index Contents for Memory Efficient Open-Domain QA
• Title（参考訳）: メモリ効率の高いオープンドメインQAのためのインデックスコンテンツの運用
• Authors: Martin Fajcik, Martin Docekal, Karel Ondrej, Pavel Smrz
• Abstract要約: 本稿では,最先端のアプローチを組み合わせることで実現可能なことを示す,新たなパイプラインを提案する。 新たなr2-d2パイプラインを,レトリバー,リカッタ,抽出リーダ,生成リーダ,およびそれらの結合方法を提案する。 本研究は, オープンドメインQAシステムにインデックス, OS, ライブラリコンポーネントが組み合わさって6GiBドッカー画像に収まるような, 大規模インデックスの内容を抽出する簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 0.1529342790344802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work presents a novel pipeline that demonstrates what is achievable with a combined effort of state-of-the-art approaches, surpassing the 50% exact match on NaturalQuestions and EfficentQA datasets. Specifically, it proposes the novel R2-D2 (Rank twice, reaD twice) pipeline composed of retriever, reranker, extractive reader, generative reader and a simple way to combine them. Furthermore, previous work often comes with a massive index of external documents that scales in the order of tens of GiB. This work presents a simple approach for pruning the contents of a massive index such that the open-domain QA system altogether with index, OS, and library components fits into 6GiB docker image while retaining only 8% of original index contents and losing only 3% EM accuracy.
• Abstract（参考訳）: 本研究では、NaturalQuestionsとEfficentQAデータセットの50%の正確な一致を超え、最先端のアプローチを組み合わせることで達成可能なものを示す新しいパイプラインを提示する。 具体的には,レトリバー,リカウンタ,抽出リーダ,生成リーダ,およびそれらを統合する簡単な方法からなる,新たなr2-d2パイプラインを提案する。 さらに、以前の作業では、数十ギブの順番でスケールする外部ドキュメントの巨大なインデックスがしばしば付いている。 本研究では,オープンドメインQAシステムをインデックス,OS,ライブラリコンポーネントで完全に6GiBドッカー画像に収まるとともに,元のインデックス内容の8%しか保持せず,3%のEM精度を失うような,大規模インデックスの内容をprunする簡単なアプローチを提案する。

関連論文リスト

• xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token [108.7069350303884]
  xRAGは、検索拡張生成に適した、革新的なコンテキスト圧縮手法である。 xRAGは、言語モデル表現空間に文書の埋め込みをシームレスに統合する。 実験の結果、xRAGは6つの知識集約タスクで平均10%以上の改善を達成していることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:15:17Z)
• OARelatedWork: A Large-Scale Dataset of Related Work Sections with Full-texts from Open Access Sources [3.371205304404334]
  本稿では,OARelatedWorkについて紹介する。OARelatedWorkは,関連作業生成のための,最初の大規模マルチドキュメント要約データセットである。 94の450の論文と5の824の689のユニークな参照論文を含んでいる。 本研究は,抽象文の代わりに全内容を用いた場合,ROUGE-2スコアにおいて,抽出要約の上限が217%増加することを示す。
  論文  参考訳（メタデータ） (2024-05-03T08:49:22Z)
• Semi-Parametric Retrieval via Binary Token Index [71.78109794895065]
  Semi-parametric Vocabulary Disentangled Retrieval (SVDR) は、新しい半パラメトリック検索フレームワークである。 既存のニューラル検索手法に似た、高い有効性のための埋め込みベースのインデックスと、従来の用語ベースの検索に似た、迅速かつ費用対効果の高いセットアップを可能にするバイナリトークンインデックスの2つのタイプをサポートする。 埋め込みベースインデックスを使用する場合の高密度検索器DPRよりも3%高いトップ1検索精度と、バイナリトークンインデックスを使用する場合のBM25よりも9%高いトップ1検索精度を実現する。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Multi-view Content-aware Indexing for Long Document Retrieval [19.74258792456242]
  Long Document Question answering (DocQA) は、10kワード以上の長いドキュメントからの質問に答えることを目的としている。 より効果的な長いDocQAのためのMulti-view Content-Aware Indexing (MC-indexing)を提案する。 MCインデクシングによりリコール率は42.8%、30.0%、23.9%、トップk=1.5、3、5、10で16.3%増加した。
  論文  参考訳（メタデータ） (2024-04-23T14:55:32Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• R2-D2: A Modular Baseline for Open-Domain Question Answering [0.1529342790344802]
  この研究は、新しい4段階のオープンドメインQAパイプラインR2-D2(Rank twice, reaD twice)を提示する。 パイプラインは、レトリバー、パスリランカ、抽出リーダ、生成リーダ、およびすべてのシステムコンポーネントから最終的な予測を集約するメカニズムで構成されている。
  論文  参考訳（メタデータ） (2021-09-08T08:51:27Z)
• Dense Passage Retrieval for Open-Domain Question Answering [49.028342823838486]
  本研究では,高密度表現のみを用いて検索を実践可能であることを示す。 我々の高密度レトリバーは、上位20経路の精度で9%-19%の絶対値で強力なルセンゼ-BM25システムより優れています。
  論文  参考訳（メタデータ） (2020-04-10T04:53:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。