論文の概要: Domain Adaptation for Memory-Efficient Dense Retrieval

• arxiv url: http://arxiv.org/abs/2205.11498v1
• Date: Mon, 23 May 2022 17:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 17:00:53.657175
• Title: Domain Adaptation for Memory-Efficient Dense Retrieval
• Title（参考訳）: メモリ効率の良いDense Retrievalのためのドメイン適応
• Authors: Nandan Thakur, Nils Reimers, Jimmy Lin
• Abstract要約: BPRやJPQのようなバイナリ埋め込みモデルでは、ドメインシフトが関与すれば、ベースラインよりも大幅にパフォーマンスが低下することを示す。 本稿では,BPRとJPQのトレーニング手順を改良し,コーパス特異的な生成手順と組み合わせることを提案する。
• 参考スコア（独自算出の注目度）: 49.98615945702959
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dense retrievers encode documents into fixed dimensional embeddings. However, storing all the document embeddings within an index produces bulky indexes which are expensive to serve. Recently, BPR (Yamada et al., 2021) and JPQ (Zhan et al., 2021a) have been proposed which train the model to produce binary document vectors, which reduce the index 32x and more. The authors showed these binary embedding models significantly outperform more traditional index compression techniques like Product Quantization (PQ). Previous work evaluated these approaches just in-domain, i.e. the methods were evaluated on tasks for which training data is available. In practice, retrieval models are often used in an out-of-domain setting, where they have been trained on a publicly available dataset, like MS MARCO, but are then used for some custom dataset for which no training data is available. In this work, we show that binary embedding models like BPR and JPQ can perform significantly worse than baselines once there is a domain-shift involved. We propose a modification to the training procedure of BPR and JPQ and combine it with a corpus specific generative procedure which allow the adaptation of BPR and JPQ to any corpus without requiring labeled training data. Our domain-adapted strategy known as GPL is model agnostic, achieves an improvement by up-to 19.3 and 11.6 points in nDCG@10 across the BEIR benchmark in comparison to BPR and JPQ while maintaining its 32x memory efficiency. JPQ+GPL even outperforms our upper baseline: uncompressed TAS-B model on average by 2.0 points.
• Abstract（参考訳）: デンスレトリバーは文書を固定次元埋め込みにエンコードする。 しかし、すべてのドキュメントの埋め込みをインデックスに格納すると、高額なインデックスが生成される。 近年,BPR ( Yamada et al., 2021) とJPQ (Zhan et al., 2021a) が提案されている。 著者らは、これらのバイナリ埋め込みモデルは、製品量子化(pq)のような従来のインデックス圧縮技術を大きく上回っていることを示した。 前回の研究では、これらのアプローチをドメイン内のみ、すなわちトレーニングデータを利用できるタスクで評価した。 実際には、検索モデルはドメイン外設定でよく使用され、MS MARCOのような公開データセットでトレーニングされた後、トレーニングデータが使用できないカスタムデータセットで使用される。 本稿では,bpr や jpq のようなバイナリ組込みモデルが,ドメインシフトが関与すれば,ベースラインよりも著しくパフォーマンスが低下することを示す。 本稿では,BPR と JPQ のトレーニング手順の修正を提案し,BPR と JPQ の任意のコーパスへの適応を可能にするコーパス固有の生成手順と組み合わせる。 GPLとして知られるドメイン適応型戦略はモデル非依存であり、32倍のメモリ効率を維持しながら、BPRやJPQと比較して、BEIRベンチマーク全体において、nDCG@10の19.3および11.6ポイントの改善を実現している。 jpq+gplは、平均2.0ポイントの非圧縮tas-bモデルよりも優れています。

関連論文リスト

• DeeperImpact: Optimizing Sparse Learned Index Structures [4.92919246305126]
  我々は、SPLADEの最も効果的なバージョンと有効性ギャップを狭めることに重点を置いている。 その結果,SPLADEの最も有効なバージョンとの有効性ギャップは著しく狭められた。
  論文  参考訳（メタデータ） (2024-05-27T12:08:59Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• Constructing Tree-based Index for Efficient and Effective Dense Retrieval [26.706985694158384]
  JTRは、TReeベースのインデックスとクエリエンコーディングの合同最適化の略である。 我々は、木に基づくインデックスとクエリエンコーダをエンドツーエンドにトレーニングするために、新しい統合されたコントラスト学習損失を設計する。 実験結果から,JTRは高いシステム効率を維持しつつ,検索性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-24T09:25:39Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering [87.32442219333046]
  本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。 本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
  論文  参考訳（メタデータ） (2020-04-30T18:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。