論文の概要: MicroNN: An On-device Disk-resident Updatable Vector Database

• arxiv url: http://arxiv.org/abs/2504.05573v1
• Date: Tue, 08 Apr 2025 00:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:30:33.463696
• Title: MicroNN: An On-device Disk-resident Updatable Vector Database
• Title（参考訳）: MicroNN: オンデバイスディスク常駐型ベクトルデータベース
• Authors: Jeffrey Pound, Floris Chabert, Arjun Bhushan, Ankur Goswami, Anil Pacaci, Shihabur Rahman Chowdhury,
• Abstract要約: Micro Nearest Neighbour (MicroNN) は、低リソース環境におけるスケーラブルな類似性検索のための組込み近傍ベクトル検索エンジンである。 MicroNNは、アップデートとハイブリッド検索クエリを含む現実世界のワークロードのオンデバイスベクターサーチの問題に対処する。 MicroNNは、100位近くの近隣住民を回収するのに7ミリ秒未満で、公開されている100万規模のベクトルベンチマークで90%のリコールを行う。
• 参考スコア（独自算出の注目度）: 2.414259539583284
• License:
• Abstract: Nearest neighbour search over dense vector collections has important applications in information retrieval, retrieval augmented generation (RAG), and content ranking. Performing efficient search over large vector collections is a well studied problem with many existing approaches and open source implementations. However, most state-of-the-art systems are generally targeted towards scenarios using large servers with an abundance of memory, static vector collections that are not updatable, and nearest neighbour search in isolation of other search criteria. We present Micro Nearest Neighbour (MicroNN), an embedded nearest-neighbour vector search engine designed for scalable similarity search in low-resource environments. MicroNN addresses the problem of on-device vector search for real-world workloads containing updates and hybrid search queries that combine nearest neighbour search with structured attribute filters. In this scenario, memory is highly constrained and disk-efficient index structures and algorithms are required, as well as support for continuous inserts and deletes. MicroNN is an embeddable library that can scale to large vector collections with minimal resources. MicroNN is used in production and powers a wide range of vector search use-cases on-device. MicroNN takes less than 7 ms to retrieve the top-100 nearest neighbours with 90% recall on publicly available million-scale vector benchmark while using ~10 MB of memory.
• Abstract（参考訳）: 近接した近接探索は,情報検索,検索拡張生成(RAG),コンテンツランキングにおいて重要な役割を担っている。 大規模なベクトルコレクションを効率的に探索することは、既存の多くのアプローチやオープンソース実装においてよく研究されている問題である。 しかし、ほとんどの最先端システムは、メモリの豊富な大規模なサーバ、スタティックベクトルコレクション、その他の検索基準から切り離された近接探索などのシナリオをターゲットにしている。 提案するMicro Nearest Neighbour(MicroNN)は,低リソース環境におけるスケーラブルな類似性探索を目的とした,近接ベクトル検索エンジンである。 MicroNNは、近くの検索と構造化属性フィルタを組み合わせた、更新とハイブリッド検索クエリを含む実世界のワークロードのオンデバイスベクターサーチの問題に対処する。 このシナリオでは、メモリは非常に制約があり、ディスク効率の指標構造とアルゴリズムが必要であり、連続的な挿入と削除をサポートする。 MicroNNは組み込み可能なライブラリで、最小限のリソースで大規模なベクターコレクションにスケールできる。 MicroNNはプロダクションで使われ、デバイス上で幅広いベクトル検索ユースケースを駆動する。 MicroNNは、約10MBのメモリを使用しながら、公開されている数百万スケールのベクターベンチマークで90%のリコールで、上位100の隣人を取得するのに7ミリ秒未満である。

関連論文リスト

• On Storage Neural Network Augmented Approximate Nearest Neighbor Search [1.3654846342364308]
  メモリ上のデータではなく、ストレージデバイスに格納されているデータから、与えられたクエリベクターに最もよく似たベクターを検索する必要がある。 本稿では,ニューラルネットワークを用いて正しいクラスタを予測する手法を提案する。 K平均クラスタリングと線形サーチを併用した,最先端SPANNと網羅的手法と比較して, SIFT1Mでは, ストレージから取得したデータの80%と58%の削減で, 90%のリコールを実現している。
  論文  参考訳（メタデータ） (2025-01-23T06:56:18Z)
• SPFresh: Incremental In-Place Update for Billion-Scale Vector Search [19.245438083030006]
  位置ベクトル更新をサポートするシステムであるSPFreshを紹介する。 SPFreshの中心は軽量なインクリメンタルリバランシングプロトコルであるLIREである。 LIREでは,グローバルリビルドに基づくソリューションに対して,クエリレイテンシと精度が向上する。
  論文  参考訳（メタデータ） (2024-10-18T13:24:18Z)
• MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings [15.275864151890511]
  マルチベクトル探索を単一ベクトル類似性探索に還元する検索機構であるMUVERA(MUlti-VEctor Retrieval Algorithm)を導入する。 MUVERAはBEIR検索データセットの多種多様なセットに対して、一貫して優れたエンドツーエンドのリコールとレイテンシを実現する。
  論文  参考訳（メタデータ） (2024-05-29T20:40:20Z)
• The Impacts of Data, Ordering, and Intrinsic Dimensionality on Recall in Hierarchical Navigable Small Worlds [0.09208007322096533]
  調査は、HNSWがデータセットのスペクトルにわたって有効であることに焦点を当てている。 我々は、KN(K Nearest Neighbours)探索と比較して、近似HNSW探索のリコールが、ベクトル空間の固有次元と結びついていることを発見した。 一般的なベンチマークデータセットをKNNの代わりにHNSWで実行することで、いくつかのモデルではランキングを最大3ポジションシフトすることができる。
  論文  参考訳（メタデータ） (2024-05-28T04:16:43Z)
• Vector search with small radiuses [10.880913075221361]
  本稿では,ベクトル検索結果に応じて難しい決定を下す必要がある場合に着目する。 本研究では,クエリー・ツー・ベクター距離に基づいて,範囲探索結果の値を厳密にモデル化できることを示す。 これにより、範囲探索の指標 RSM が得られ、これは原則的であり、エンドツーエンドの評価を行なわずに計算が容易である。
  論文  参考訳（メタデータ） (2024-03-16T00:34:25Z)
• Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
  学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。 テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。 LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。 提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
  論文  参考訳（メタデータ） (2024-02-27T14:21:56Z)
• Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR Decomposition [77.4863142882136]
  クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。 本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:01:17Z)
• BR-NS: an Archive-less Approach to Novelty Search [70.13948372218849]
  行動認識に基づく新規性探索(BR-NS)という,新規性推定の代替手法について議論する。 BR-NSはアーカイブを必要とせず、行動空間で定義できるメトリクスを前提にせず、近隣の検索に依存しません。 我々は、その実現可能性とダイナミクス、および時間複雑性の観点からアーカイブベースのnsよりも潜在的に有利な点について洞察を得るために実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T17:31:34Z)
• SOLAR: Sparse Orthogonal Learned and Random Embeddings [45.920844071257754]
  我々は,高次元および超スパース埋め込みが,クエリ効率と精度の両面において,高密度な低次元埋め込みよりもはるかに優れていると論じている。 我々は,最大3つの公開データセット上で1.6万冊の書籍を検索し,複数ラベルの分類を行うタスクに対して,500K次元のSOLAR埋め込みを訓練する。 それぞれのタスクに対して,最大10倍の高速さで,各タスクの最先端のベースラインと比較して,精度とリコールの精度が向上する。
  論文  参考訳（メタデータ） (2020-08-30T17:35:35Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)
• Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks [132.29772160843825]
  条件付き生成逆数ネットワーク(cGAN)は,その条件に基づいて画像を生成するように設計されている。 既存のメソッドは、すべてのクラスで同じ生成アーキテクチャを使っている。 本稿では,各クラスごとに異なるアーキテクチャを見つけるためにNASを採用する新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2020-06-25T07:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。