論文の概要: Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization

• arxiv url: http://arxiv.org/abs/2210.12579v1
• Date: Sun, 23 Oct 2022 00:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 14:56:46.680791
• Title: Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization
• Title（参考訳）: 行列因数分解を用いたクロスエンコーダモデルの最適近傍探索
• Authors: Nishant Yadav, Nicholas Monath, Rico Angell, Manzil Zaheer and Andrew McCallum
• Abstract要約: 本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
• 参考スコア（独自算出の注目度）: 60.91600465922932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient k-nearest neighbor search is a fundamental task, foundational for many problems in NLP. When the similarity is measured by dot-product between dual-encoder vectors or $\ell_2$-distance, there already exist many scalable and efficient search methods. But not so when similarity is measured by more accurate and expensive black-box neural similarity models, such as cross-encoders, which jointly encode the query and candidate neighbor. The cross-encoders' high computational cost typically limits their use to reranking candidates retrieved by a cheaper model, such as dual encoder or TF-IDF. However, the accuracy of such a two-stage approach is upper-bounded by the recall of the initial candidate set, and potentially requires additional training to align the auxiliary retrieval model with the cross-encoder model. In this paper, we present an approach that avoids the use of a dual-encoder for retrieval, relying solely on the cross-encoder. Retrieval is made efficient with CUR decomposition, a matrix decomposition approach that approximates all pairwise cross-encoder distances from a small subset of rows and columns of the distance matrix. Indexing items using our approach is computationally cheaper than training an auxiliary dual-encoder model through distillation. Empirically, for k > 10, our approach provides test-time recall-vs-computational cost trade-offs superior to the current widely-used methods that re-rank items retrieved using a dual-encoder or TF-IDF.
• Abstract（参考訳）: 効率的なk-ネアレスト近傍探索は基本的な課題であり、NLPにおける多くの問題の基礎となる。 二重エンコーダベクトルと$\ell_2$-distanceのドット積で類似性を測定する場合、既にスケーラブルで効率的な探索方法が数多く存在する。 しかし、より正確で高価なブラックボックスニューラル類似モデル(例えばクロスエンコーダ)によって類似度が測定される場合、クエリと候補の隣人を共同でエンコードする。 クロスエンコーダの高い計算コストは、通常、デュアルエンコーダやTF-IDFのようなより安価なモデルによって検索される候補の再ランクに制限される。 しかし, この2段階アプローチの精度は, 初期候補セットのリコールにより上限値に達し, 補助検索モデルとクロスエンコーダモデルとの整合のために追加訓練が必要となる可能性がある。 本稿では,クロスエンコーダのみに頼りながら,検索にデュアルエンコーダを使用するのを避ける手法を提案する。 CUR分解(CUR decomposition)とは、距離行列の行と列の小さな部分集合から全対のクロスエンコーダ距離を近似する行列分解法である。 提案手法を用いた索引作成は,蒸留による補助二重エンコーダモデルの訓練よりも安価である。 実例では,k > 10 の場合,テストタイムのリコール-vs-計算コストのトレードオフは,デュアルエンコーダやTF-IDF を用いて検索したアイテムを再ランクする現在の広く使われている手法よりも優れている。

関連論文リスト

• MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings [15.275864151890511]
  マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。 MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
  論文  参考訳（メタデータ） (2024-05-29T20:40:20Z)
• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition [77.4863142882136]
  クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。 本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:01:17Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• Nearest neighbor search with compact codes: A decoder perspective [77.60612610421101]
  バイナリハッシュや製品量化器などの一般的な手法を自動エンコーダとして再解釈する。 後方互換性のあるデコーダを設計し、同じ符号からベクトルの再構成を改善する。
  論文  参考訳（メタデータ） (2021-12-17T15:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。