論文の概要: Passing the Baton: High Throughput Distributed Disk-Based Vector Search with BatANN

• arxiv url: http://arxiv.org/abs/2512.09331v1
• Date: Wed, 10 Dec 2025 05:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.406992
• Title: Passing the Baton: High Throughput Distributed Disk-Based Vector Search with BatANN
• Title（参考訳）: BatANNによる高スループット分散ディスクベースベクトル探索
• Authors: Nam Anh Dang, Ben Landrum, Ken Birman,
• Abstract要約: 分散ディスクベースニアニアニア(ANN)システムであるBatANNを提案する。 私たちの中核的なイノベーションは、他のマシンに格納されている近傍にアクセスするとき、クエリの完全な状態を他のマシンに送信し、そこで実行し、ローカリティを改善することです。 10サーバを使用した0.95リコールで100M点と1B点のデータセットで、BatANNは、それぞれ6.21-6.49xと2.5-5.10xのスループットを達成した。
• 参考スコア（独自算出の注目度）: 0.7119054550299375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector search underpins modern information-retrieval systems, including retrieval-augmented generation (RAG) pipelines and search engines over unstructured text and images. As datasets scale to billions of vectors, disk-based vector search has emerged as a practical solution. However, looking to the future, we need to anticipate datasets too large for any single server. We present BatANN, a distributed disk-based approximate nearest neighbor (ANN) system that retains the logarithmic search efficiency of a single global graph while achieving near-linear throughput scaling in the number of servers. Our core innovation is that when accessing a neighborhood which is stored on another machine, we send the full state of the query to the other machine to continue executing there for improved locality. On 100M- and 1B-point datasets at 0.95 recall using 10 servers, BatANN achieves 6.21-6.49x and 2.5-5.10x the throughput of the scatter-gather baseline, respectively, while maintaining mean latency below 6 ms. Moreover, we get these results on standard TCP. To our knowledge, BatANN is the first open-source distributed disk-based vector search system to operate over a single global graph.
• Abstract（参考訳）: ベクトル探索は、検索拡張生成(RAG)パイプラインや検索エンジンなど、最新の情報検索システムを支える。 データセットが数十億のベクトルにスケールするにつれ、ディスクベースのベクトル探索が実用的な解決策として現れてきた。 しかし、将来を見据えて、単一のサーバではデータセットが大きすぎることを予測する必要があります。 本研究では,分散ディスクベースニアニアニアニア(ANN)システムであるBatANNを提案する。 私たちの中核的なイノベーションは、他のマシンに格納されている近傍にアクセスするとき、クエリの完全な状態を他のマシンに送信し、そこで実行し、ローカリティを改善することです。 10サーバを使用した0.95リコールにおける100M-と1B-pointデータセットにおいて、BatANNは、それぞれ6.21-6.49xと2.5-5.10xのスループットを達成し、平均遅延は6ms以下である。 我々の知る限り、BatANNは1つのグローバルグラフ上で動く最初のオープンソースの分散ディスクベースのベクトルサーチシステムである。

関連論文リスト

• DISTRIBUTEDANN: Efficient Scaling of a Single DISKANN Graph Across Thousands of Computers [9.854925314375024]
  分散ベクトル検索サービスであるDistriBUTEDANNは,1000台以上のマシンにまたがる1つの500億ベクトルグラフインデックスを検索可能にする。 これは、スケールアウトベクターサーチシステムにおいて、ベクトルクエリをパーティションのサブセットにルーティングする既存のパーティションおよびルーティング戦略よりも6倍効率がよい。
  論文  参考訳（メタデータ） (2025-09-07T13:13:02Z)
• Scalable Overload-Aware Graph-Based Index Construction for 10-Billion-Scale Vector Similarity Search [18.419278931226756]
  SOGAICは超大規模ベクトルデータベースに適したグラフベースのANNSインデックス構築システムである。 提案手法は実世界の産業用検索エンジンに導入され,毎日100億件以上のベクトルを処理している。
  論文  参考訳（メタデータ） (2025-02-28T04:03:23Z)
• On Storage Neural Network Augmented Approximate Nearest Neighbor Search [1.3654846342364308]
  メモリ上のデータではなく、ストレージデバイスに格納されているデータから、与えられたクエリベクターに最もよく似たベクターを検索する必要がある。 本稿では,ニューラルネットワークを用いて正しいクラスタを予測する手法を提案する。 K平均クラスタリングと線形サーチを併用した,最先端SPANNと網羅的手法と比較して, SIFT1Mでは, ストレージから取得したデータの80%と58%の削減で, 90%のリコールを実現している。
  論文  参考訳（メタデータ） (2025-01-23T06:56:18Z)
• TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs [17.264420882897017]
  大規模なオフライン時間グラフニューラルネットワークトレーニングのための統合フレームワークであるTGLを提案する。 TGLは5つの主要コンポーネント、時間サンプリング、メールボックス、ノードメモリモジュール、メモリ更新、メッセージパッシングエンジンから構成される。 我々は、0.2と13億の時間エッジを持つ2つの大規模な実世界のデータセットを紹介した。
  論文  参考訳（メタデータ） (2022-03-28T16:41:18Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation [40.75034970144169]
  SLASHはテラバイト規模のデータセットの類似性を近似的に検索する分散システムである。 SLASHはこの2.3テラバイトのデータを1時間以内に20ノードにインデックスし、クエリ時間をミリ秒単位で表示する。
  論文  参考訳（メタデータ） (2020-08-05T18:15:36Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。