論文の概要: LeanVec: Searching vectors faster by making them fit
- arxiv url: http://arxiv.org/abs/2312.16335v2
- Date: Wed, 3 Apr 2024 16:18:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 22:27:34.517209
- Title: LeanVec: Searching vectors faster by making them fit
- Title（参考訳）: LeanVec: ベクターを適合させることで、ベクターの検索を高速化する
- Authors: Mariano Tepper, Ishwar Singh Bhati, Cecilia Aguerrebere, Mark Hildebrand, Ted Willke,
- Abstract要約: 本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
- 参考スコア（独自算出の注目度）: 1.0863382547662974
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern deep learning models have the ability to generate high-dimensional vectors whose similarity reflects semantic resemblance. Thus, similarity search, i.e., the operation of retrieving those vectors in a large collection that are similar to a given query, has become a critical component of a wide range of applications that demand highly accurate and timely answers. In this setting, the high vector dimensionality puts similarity search systems under compute and memory pressure, leading to subpar performance. Additionally, cross-modal retrieval tasks have become increasingly common, e.g., where a user inputs a text query to find the most relevant images for that query. However, these queries often have different distributions than the database embeddings, making it challenging to achieve high accuracy. In this work, we present LeanVec, a framework that combines linear dimensionality reduction with vector quantization to accelerate similarity search on high-dimensional vectors while maintaining accuracy. We present LeanVec variants for in-distribution (ID) and out-of-distribution (OOD) queries. LeanVec-ID yields accuracies on par with those from recently introduced deep learning alternatives whose computational overhead precludes their usage in practice. LeanVec-OOD uses two novel techniques for dimensionality reduction that consider the query and database distributions to simultaneously boost the accuracy and the performance of the framework even further (even presenting competitive results when the query and database distributions match). All in all, our extensive and varied experimental results show that LeanVec produces state-of-the-art results, with up to 3.7x improvement in search throughput and up to 4.9x faster index build time over the state of the art.
- Abstract（参考訳）: 現代のディープラーニングモデルは、セマンティックな類似性を反映した高次元ベクトルを生成する能力を持つ。
このように、類似性探索、すなわち、与えられたクエリに類似した大規模なコレクションでこれらのベクトルを検索する操作は、高度に正確かつタイムリーな回答を要求する幅広いアプリケーションにおいて重要な要素となっている。
この設定では、ベクトル次元が高いと類似性探索系を計算とメモリの圧力下に置くため、サブパー性能が低下する。
さらに、クロスモーダル検索タスクは、ユーザがテキストクエリを入力して、そのクエリの最も関連性の高い画像を見つけるなど、ますます一般的になっています。
しかし、これらのクエリはデータベースの埋め込みとは異なる分布を持つことが多く、高い精度を達成することは困難である。
本稿では,高次元ベクトル上での類似性探索を高速化し,精度を維持しつつ,線形次元減少とベクトル量子化を組み合わせたフレームワークであるLeanVecを提案する。
本稿では,in-distribution (ID) およびout-of-distribution (OOD) クエリに対する LeanVec 変種について述べる。
LeanVec-IDは、最近導入されたディープラーニングの代替品と同等の精度を得る。
LeanVec-OODは、クエリとデータベースの分布を考慮した2つの新しい手法を使用して、フレームワークの精度と性能をさらに向上させる(クエリとデータベースの分布が一致した場合の競合結果を示す)。
全体として、広範囲で多様な実験結果から、LeanVecは最先端の結果を生成し、検索スループットを最大3.7倍改善し、最先端よりも4.9倍高速なインデックスビルドを実現した。
関連論文リスト
- GleanVec: Accelerating vector search with minimalist nonlinear dimensionality reduction [1.1599570446840546]
クロスモーダル検索(例えば、画像を見つけるためにテキストクエリを使用する)は急速に勢いを増している。
クエリはデータベースベクトルとは異なる統計分布を持つことが多いため、高い精度を達成することは困難である。
本稿では,高次元ベクトル探索を高速化するために,次元削減のための線形非線形手法を提案する。
論文 参考訳（メタデータ） (2024-10-14T21:14:27Z) - Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。
本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
論文 参考訳（メタデータ） (2024-09-10T12:46:23Z) - Efficient Data Access Paths for Mixed Vector-Relational Search [8.80592433569832]
機械学習とベクトル埋め込みを用いたデータ処理手法の採用は、ベクトルデータ管理のためのシステム構築に大きな関心を喚起した。
ベクトルデータ管理の主流のアプローチは、ベクトル埋め込み全体を高速に検索するために特別なインデックス構造を使用することであるが、一度他の(メタ)データと組み合わせると、検索クエリはリレーショナル属性に対して選択的になる。
ベクトルインデックスは従来の関係データアクセスと異なるため、効率的な混合ベクトル関係探索のための代替アクセスパスを再検討し分析する。
論文 参考訳（メタデータ） (2024-03-23T11:34:17Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - Locally-Adaptive Quantization for Streaming Vector Search [1.151101202055732]
高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。
LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
論文 参考訳（メタデータ） (2024-02-03T05:43:39Z) - Improving Text Matching in E-Commerce Search with A Rationalizable,
Intervenable and Fast Entity-Based Relevance Model [78.80174696043021]
エンティティベース関連モデル(EBRM)と呼ばれる新しいモデルを提案する。
この分解により、高精度にクロスエンコーダQE関連モジュールを使用できる。
また、ユーザログから自動生成されたQEデータによるQEモジュールの事前トレーニングにより、全体的なパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-07-01T15:44:53Z) - Multivariate Representation Learning for Information Retrieval [31.31440742912932]
本稿では,高密度検索のための新しい表現学習フレームワークを提案する。
クエリやドキュメント毎にベクトルを学習する代わりに、我々のフレームワークは多変量分布を学習する。
近似した近似近似アルゴリズムにシームレスに統合できることが示される。
論文 参考訳（メタデータ） (2023-04-27T20:30:46Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳（メタデータ） (2023-02-13T18:42:17Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳（メタデータ） (2022-11-18T18:27:35Z) - SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。
我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。
それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
論文 参考訳（メタデータ） (2020-08-30T17:35:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。