論文の概要: The Faiss library
- arxiv url: http://arxiv.org/abs/2401.08281v1
- Date: Tue, 16 Jan 2024 11:12:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 14:26:41.770300
- Title: The Faiss library
- Title(参考訳): ファイス図書館
- Authors: Matthijs Douze and Alexandr Guzhva and Chengqi Deng and Jeff Johnson
and Gergely Szilvasy and Pierre-Emmanuel Mazar\'e and Maria Lomeli and Lucas
Hosseini and Herv\'e J\'egou
- Abstract要約: Faissは、インデックス化手法と関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使用される。
本稿ではまず,ベクトル探索のトレードオフ空間について述べる。次に,Faisの設計原理を,構造,最適化,インターフェースの観点から述べる。
- 参考スコア(独自算出の注目度): 50.71880632834116
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vector databases manage large collections of embedding vectors. As AI
applications are growing rapidly, so are the number of embeddings that need to
be stored and indexed. The Faiss library is dedicated to vector similarity
search, a core functionality of vector databases. Faiss is a toolkit of
indexing methods and related primitives used to search, cluster, compress and
transform vectors. This paper first describes the tradeoff space of vector
search, then the design principles of Faiss in terms of structure, approach to
optimization and interfacing. We benchmark key features of the library and
discuss a few selected applications to highlight its broad applicability.
- Abstract(参考訳): ベクトルデータベースは、埋め込みベクトルの大規模なコレクションを管理する。
aiアプリケーションが急速に成長するにつれて、格納とインデックス化が必要な埋め込みの数も増えている。
Faissライブラリはベクトルデータベースの中核機能であるベクトル類似性検索に特化している。
faissはインデクシングメソッドと関連するプリミティブのツールキットで、ベクトルの検索、クラスタ化、圧縮、変換に使われる。
本稿ではまず,ベクトル探索のトレードオフ空間について述べる。次に,Faisの設計原理を,構造,最適化,インターフェースの観点から述べる。
ライブラリの重要な機能をベンチマークし、選択したいくつかのアプリケーションを議論して、その幅広い適用性を強調します。
関連論文リスト
- Locally-Adaptive Quantization for Streaming Vector Search [1.151101202055732]
高効率ベクトル圧縮法であるLocally-Adaptive Vector Quantization (LVQ)は、非進化データベースに対して最先端の探索性能を得る。
LVQの2つの改善点として,Turbo LVQとMulti-means LVQを導入し,検索性能を28%,27%向上させた。
我々の研究は、LVQとその新しい変種が高速ベクトル探索を可能にし、同じ分散データに対して、最も近い競合である9.4倍の性能を発揮することを示した。
論文 参考訳(メタデータ) (2024-02-03T05:43:39Z) - Curator: Efficient Indexing for Multi-Tenant Vector Databases [13.54470338115846]
本稿では,マルチテナントクエリに適したインメモリベクトルインデックス設計であるCuratorを提案する。
Curatorはテナント固有のクラスタリングツリーで各テナントのベクトルをインデックスし、これらのツリーを共有クラスタリングツリーのサブツリーとしてコンパクトにエンコードする。
2つの広く使われているデータセットに基づいて評価を行った結果,Curator が検索性能をテナントごとのインデックス化に匹敵するものであることが確認された。
論文 参考訳(メタデータ) (2024-01-13T17:08:09Z) - LeanVec: Search your vectors faster by making them fit [1.1511012020557323]
本稿では,高次元ベクトル上での類似性探索を高速化するために,線形次元減少とベクトル量子化を組み合わせたフレームワークLeanVecを提案する。
LeanVecは、検索のスループットを最大3.7倍改善し、インデックスビルド時間を最大4.9倍高速化する、最先端の結果を生成する。
論文 参考訳(メタデータ) (2023-12-26T21:14:59Z) - High-Throughput Vector Similarity Search in Knowledge Graphs [17.41683819564348]
最近のデータ管理システムでは,オンラインベクトル類似検索によるクエリ処理の拡張が提案されている。
本稿では,クエリの一部がベクトル類似性検索に対応するような,ハイブリッドなベクトル類似性検索(略してハイブリッドクエリ)に焦点を当てる。
本稿では,ハイブリッドクエリの高スループットバッチ処理のためのシステムHQIを提案する。
論文 参考訳(メタデータ) (2023-04-04T16:19:15Z) - CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for
Efficient and Effective Multi-Vector Retrieval [72.90850213615427]
マルチベクター検索法はスパース(例えばBM25)と高密度(例えばDPR)レトリバーの利点を組み合わせたものである。
これらの手法は桁違いに遅く、単ベクトルの手法に比べてインデックスを格納するのにはるかに多くのスペースを必要とする。
動的語彙ルーティング(CITADEL)による条件付きトークンの相互作用を,効率的かつ効率的なマルチベクタ検索のために提案する。
論文 参考訳(メタデータ) (2022-11-18T18:27:35Z) - Lib-SibGMU -- A University Library Circulation Dataset for Recommender
Systems Developmen [58.720142291102135]
大学図書館の循環データセットLib-SibGMUをオープンソースとして公開しました。
ベクタライザからなるレコメンデータアーキテクチャでは,ベクタライザとしてfastTextモデルを使用することで,ベクタライザの競合的な結果が得られることを示す。
論文 参考訳(メタデータ) (2022-08-25T22:10:18Z) - Differentiable Computational Geometry for 2D and 3D machine learning [0.0]
線形や多角形といった幾何学的プリミティブのための微分可能演算子の実装を積んだ最適化可能な幾何アルゴリズムライブラリ(DGAL)を提案する。
このライブラリは、GPUをサポートするヘッダのみのテンプレートC++ライブラリである。
論文 参考訳(メタデータ) (2020-11-22T23:22:49Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳(メタデータ) (2020-08-24T12:09:55Z) - Progressively Pretrained Dense Corpus Index for Open-Domain Question
Answering [87.32442219333046]
本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。
本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
論文 参考訳(メタデータ) (2020-04-30T18:09:50Z) - Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
本稿では,構造化予測ライブラリTorch-Structを紹介する。
Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
論文 参考訳(メタデータ) (2020-02-03T16:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。