論文の概要: DGAI: Decoupled On-Disk Graph-Based ANN Index for Efficient Updates and Queries

• arxiv url: http://arxiv.org/abs/2510.25401v1
• Date: Wed, 29 Oct 2025 11:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:17.84778
• Title: DGAI: Decoupled On-Disk Graph-Based ANN Index for Efficient Updates and Queries
• Title（参考訳）: DGAI: 効率的なアップデートとクエリのためのオンディスクグラフベースのANNインデックスの分離
• Authors: Jiahao Lou, Quan Yu, Shufeng Gong, Song Yu, Yanfeng Zhang, Ge Yu,
• Abstract要約: オンディスクグラフに基づくインデックスは、大規模で高次元のベクトルに対する近接近接探索システム(ANN)において広く使われている。 インデックス内にベクトルを格納する従来の結合ストレージ方式は、インデックス更新に非効率である。 本稿では,疎結合型ストレージアーキテクチャを提案するが,疎結合型アーキテクチャはクエリ性能を低下させる。
• 参考スコア（独自算出の注目度）: 14.147837695174722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-disk graph-based indexes are widely used in approximate nearest neighbor (ANN) search systems for large-scale, high-dimensional vectors. However, traditional coupled storage methods, which store vectors within the index, are inefficient for index updates. Coupled storage incurs excessive redundant vector reads and writes when updating the graph topology, leading to significant invalid I/O. To address this issue, we propose a decoupled storage architecture. While a decoupled architecture reduces query performance. To overcome this limitation, we design two tailored strategies: (i) a three-stage query mechanism that leverages multiple PQ compressed vectors to filter invalid I/O and computations, and (ii) an incremental page-level topological reordering strategy that incrementally inserts new nodes into pages containing their most similar neighbors to mitigate read amplification. Together, these techniques substantially reduce both I/O and computational overhead during ANN search. Experimental results show that the decoupled architecture improves update speed by 10.05x for insertions and 6.89x for deletions, while the three-stage query and incremental reordering enhance query efficiency by 2.66x compared to the traditional coupled architecture.
• Abstract（参考訳）: オンディスクグラフに基づくインデックスは、大規模で高次元のベクトルに対する近接近接探索システム(ANN)において広く使われている。 しかし、インデックス内にベクトルを格納する従来の結合ストレージ手法は、インデックス更新に非効率である。 結合ストレージは、グラフトポロジを更新する際に過剰な冗長なベクトル読み取りと書き込みを発生させ、重大な無効なI/Oを引き起こす。 この問題に対処するため,分離ストレージアーキテクチャを提案する。 分離されたアーキテクチャではクエリのパフォーマンスが低下する。 この制限を克服するために、我々は2つの戦略を設計する。 i)複数のPQ圧縮ベクトルを利用して不正なI/Oと計算をフィルタリングする3段階クエリ機構 (II) 読み込み増幅を緩和するため, 隣り合わせのページに新たなノードをインクリメンタルに挿入する, ページレベルのトポロジカルリオーダー戦略。 これらの手法により、ANN検索時のI/Oと計算オーバーヘッドを大幅に削減できる。 実験結果から,デカップリングアーキテクチャでは挿入時の更新速度が10.05倍,削除時の6.89倍,3段階のクエリとインクリメンタルリオーダーによりクエリ効率が従来の結合アーキテクチャに比べて2.66倍向上することがわかった。

関連論文リスト

• Scalable Disk-Based Approximate Nearest Neighbor Search with Page-Aligned Graph [3.994346326254537]
  本稿では,ディスクベースの近接探索(ANNS)フレームワークであるPageANNを提案する。 その結果、PageANNは最先端(SOTA)ディスクベースのANNS法を著しく上回り、1.85x-10.83倍のスループット、51.7%-91.9%のレイテンシを異なるデータセットとメモリ予算で達成した。
  論文  参考訳（メタデータ） (2025-09-29T20:44:13Z)
• HAKES: Scalable Vector Database for Embedding Search Service [16.034584281180006]
  我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。 我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。 nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
  論文  参考訳（メタデータ） (2025-05-18T19:26:29Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Similarity search in the blink of an eye with compressed indices [3.39271933237479]
  グラフベースのインデックスは現在、数十億の類似性検索において、最高のパフォーマンス技術である。 より高速でより小さなグラフベースのインデックスを作成するための新しい手法とシステムを提案する。
  論文  参考訳（メタデータ） (2023-04-07T23:10:39Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• The Case for Learned Spatial Indexes [62.88514422115702]
  我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。 i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。 また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
  論文  参考訳（メタデータ） (2020-08-24T12:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。