論文の概要: DISTRIBUTEDANN: Efficient Scaling of a Single DISKANN Graph Across Thousands of Computers

• arxiv url: http://arxiv.org/abs/2509.06046v1
• Date: Sun, 07 Sep 2025 13:13:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.834234
• Title: DISTRIBUTEDANN: Efficient Scaling of a Single DISKANN Graph Across Thousands of Computers
• Title（参考訳）: DistributedANN: 何千ものコンピュータにまたがる単一のdisKANNグラフの効率的なスケーリング
• Authors: Philip Adams, Menghao Li, Shi Zhang, Li Tan, Qi Chen, Mingqin Li, Zengzhong Li, Knut Risvik, Harsha Vardhan Simhadri,
• Abstract要約: 分散ベクトル検索サービスであるDistriBUTEDANNは,1000台以上のマシンにまたがる1つの500億ベクトルグラフインデックスを検索可能にする。 これは、スケールアウトベクターサーチシステムにおいて、ベクトルクエリをパーティションのサブセットにルーティングする既存のパーティションおよびルーティング戦略よりも6倍効率がよい。
• 参考スコア（独自算出の注目度）: 9.854925314375024
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present DISTRIBUTEDANN, a distributed vector search service that makes it possible to search over a single 50 billion vector graph index spread across over a thousand machines that offers 26ms median query latency and processes over 100,000 queries per second. This is 6x more efficient than existing partitioning and routing strategies that route the vector query to a subset of partitions in a scale out vector search system. DISTRIBUTEDANN is built using two well-understood components: a distributed key-value store and an in-memory ANN index. DISTRIBUTEDANN has replaced conventional scale-out architectures for serving the Bing search engine, and we share our experience from making this transition.
• Abstract（参考訳）: 分散ベクターサーチサービスであるDistriBUTEDANNは、数千台以上のマシンにまたがる1つの500億ベクターグラフインデックスを検索し、26msのクエリレイテンシと毎秒10万以上のクエリを処理できるようにする。 これは、スケールアウトベクターサーチシステムにおいて、ベクトルクエリをパーティションのサブセットにルーティングする既存のパーティションおよびルーティング戦略よりも6倍効率がよい。 DisTRIBUTEDANNは、分散キーバリューストアとインメモリANNインデックスという、よく理解された2つのコンポーネントを使って構築されている。 DistriBUTEDANNは、Bing検索エンジンを提供するために従来のスケールアウトアーキテクチャを置き換えました。

関連論文リスト

• VIBE: Vector Index Benchmark for Embeddings [5.449089394751681]
  本稿では,ANNアルゴリズムをベンチマークするオープンソースプロジェクトであるVector Index Benchmark for Embeddings (VIBE)を紹介する。 VIBEには、現代のアプリケーションに特徴的な密着した埋め込みモデルを使用して、ベンチマークデータセットを作成するパイプラインが含まれている。 我々は、VIBEを用いてSOTAベクトルインデックスの総合的な評価を行い、12の分布内および6の分布外データセット上で21の実装をベンチマークする。
  論文  参考訳（メタデータ） (2025-05-23T12:28:10Z)
• Cost-Effective, Low Latency Vector Search with Azure Cosmos DB [14.76627855468578]
  Azure Cosmos DBのようなクラウドネイティブな運用データベース内に,スケーラブルで高性能で費用効率の高いベクトル検索システムを構築することができる,と私たちは主張する。 このシステムは、既存のインデックスツリーに格納されたパーティション毎に単一のベクトルインデックスを使用し、基礎となるデータと同期する。 1000万のベクトルにまたがるインデックス上で20msのクエリレイテンシをサポートし、更新のリコールが安定しており、PineconeやZil Diskのサーバレスエンタープライズ製品と比較して約43倍、12倍低いクエリコストが提供される。
  論文  参考訳（メタデータ） (2025-05-09T08:53:59Z)
• Scalable Overload-Aware Graph-Based Index Construction for 10-Billion-Scale Vector Similarity Search [18.419278931226756]
  SOGAICは超大規模ベクトルデータベースに適したグラフベースのANNSインデックス構築システムである。 提案手法は実世界の産業用検索エンジンに導入され,毎日100億件以上のベクトルを処理している。
  論文  参考訳（メタデータ） (2025-02-28T04:03:23Z)
• AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
  本稿では、圧縮ベクトルをSSDインデックスにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。 本手法は,10 MB のメモリ使用率を数十億のデータセットによるクエリ検索で実現し,遅延の致命的な劣化を伴わない。
  論文  参考訳（メタデータ） (2024-04-09T04:20:27Z)
• A Metaheuristic Algorithm for Large Maximum Weight Independent Set Problems [58.348679046591265]
  ノード重み付きグラフが与えられたとき、ノード重みが最大となる独立した(相互に非隣接な)ノードの集合を見つける。 このアプリケーションで放送されるグラフの中には、数十万のノードと数億のエッジを持つ大きなものもあります。 我々は,不規則なランダム化適応検索フレームワークにおいてメタヒューリスティックな新しい局所探索アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-03-28T21:34:16Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)
• Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation [40.75034970144169]
  SLASHはテラバイト規模のデータセットの類似性を近似的に検索する分散システムである。 SLASHはこの2.3テラバイトのデータを1時間以内に20ノードにインデックスし、クエリ時間をミリ秒単位で表示する。
  論文  参考訳（メタデータ） (2020-08-05T18:15:36Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。