論文の概要: Scalable Disk-Based Approximate Nearest Neighbor Search with Page-Aligned Graph

• arxiv url: http://arxiv.org/abs/2509.25487v1
• Date: Mon, 29 Sep 2025 20:44:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.316549
• Title: Scalable Disk-Based Approximate Nearest Neighbor Search with Page-Aligned Graph
• Title（参考訳）: ページアライングラフを用いたスケーラブルディスクベース近似近傍探索
• Authors: Dingyi Kang, Dongming Jiang, Hanshen Yang, Hang Liu, Bingzhe Li,
• Abstract要約: 本稿では,ディスクベースの近接探索(ANNS)フレームワークであるPageANNを提案する。 その結果、PageANNは最先端(SOTA)ディスクベースのANNS法を著しく上回り、1.85x-10.83倍のスループット、51.7%-91.9%のレイテンシを異なるデータセットとメモリ予算で達成した。
• 参考スコア（独自算出の注目度）: 3.994346326254537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Approximate Nearest Neighbor Search (ANNS), as the core of vector databases (VectorDBs), has become widely used in modern AI and ML systems, powering applications from information retrieval to bio-informatics. While graph-based ANNS methods achieve high query efficiency, their scalability is constrained by the available host memory. Recent disk-based ANNS approaches mitigate memory usage by offloading data to Solid-State Drives (SSDs). However, they still suffer from issues such as long I/O traversal path, misalignment with storage I/O granularity, and high in-memory indexing overhead, leading to significant I/O latency and ultimately limiting scalability for large-scale vector search. In this paper, we propose PageANN, a disk-based approximate nearest neighbor search (ANNS) framework designed for high performance and scalability. PageANN introduces a page-node graph structure that aligns logical graph nodes with physical SSD pages, thereby shortening I/O traversal paths and reducing I/O operations. Specifically, similar vectors are clustered into page nodes, and a co-designed disk data layout leverages this structure with a merging technique to store only representative vectors and topology information, avoiding unnecessary reads. To further improve efficiency, we design a memory management strategy that combines lightweight indexing with coordinated memory-disk data allocation, maximizing host memory utilization while minimizing query latency and storage overhead. Experimental results show that PageANN significantly outperforms state-of-the-art (SOTA) disk-based ANNS methods, achieving 1.85x-10.83x higher throughput and 51.7%-91.9% lower latency across different datasets and memory budgets, while maintaining comparable high recall accuracy.
• Abstract（参考訳）: ベクトルデータベース(VectorDBs)のコアとなる近似Nearest Neighbor Search(ANNS)は、情報検索からバイオインフォマティクスまで、現代のAIやMLシステムで広く使われている。 グラフベースのANNS手法は高いクエリ効率を実現するが、そのスケーラビリティは利用可能なホストメモリによって制限される。 最近のディスクベースのANNSは、データをSolid-State Drives(SSD)にオフロードすることで、メモリ使用を軽減している。 しかし、長いI/Oトラバースパス、ストレージI/Oの粒度との相違、インメモリインデックスのオーバーヘッドの増大といった問題に悩まされており、結果的に大規模なベクトル検索のスケーラビリティが制限される。 本稿では,ディスクベースニアニアニアサーチ(ANNS)フレームワークであるPageANNを提案する。 PageANNは論理グラフノードを物理SSDページと整列するページノードグラフ構造を導入し、I/Oトラバースパスの短縮とI/O操作の削減を実現している。 具体的には、類似したベクトルはページノードにクラスタ化され、共同設計のディスクデータレイアウトは、この構造をマージ技術で活用し、代表ベクトルとトポロジー情報のみを格納し、不要な読み込みを避ける。 さらに効率を向上するために,軽量なインデックス化とコーディネートされたメモリディスクデータアロケーションを組み合わせたメモリ管理戦略を設計し,クエリ待ち時間とストレージオーバーヘッドを最小化しながらホストメモリの利用を最大化する。 実験の結果、PageANNは最先端(SOTA)ディスクベースのANNS法を著しく上回り、1.85x-10.83倍高いスループットと51.7%-91.9%低いレイテンシを異なるデータセットとメモリ予算で達成し、高いリコール精度を維持した。

関連論文リスト

• Hierarchical Memory for High-Efficiency Long-Term Reasoning in LLM Agents [19.04968632268433]
  大規模言語モデルエージェント(LLMエージェント)のための階層型メモリアーキテクチャを提案する。 各メモリベクトルは、次の層のセマンティック関連サブメモリを指し示す位置インデックスが埋め込まれている。 推論フェーズにおいて、インデックスベースのルーティング機構は、網羅的な類似性計算を行うことなく、効率的な層間検索を可能にする。
  論文  参考訳（メタデータ） (2025-07-23T12:45:44Z)
• LEANN: A Low-Storage Vector Index [70.13770593890655]
  LEANNは、リソース制約されたパーソナルデバイスに最適化された、ストレージ効率の近い近接検索インデックスである。 評価の結果,LEANNは原データの5%以下までインデックスサイズを縮小し,標準インデックスの最大50倍のストレージを実現した。
  論文  参考訳（メタデータ） (2025-06-09T22:43:30Z)
• From Single to Multi-Granularity: Toward Long-Term Memory Association and Selection of Conversational Agents [79.87304940020256]
  大言語モデル(LLM)は会話エージェントで広く採用されている。 MemGASは、多粒度アソシエーション、適応選択、検索を構築することにより、メモリ統合を強化するフレームワークである。 4つの長期メモリベンチマークの実験により、MemGASは質問応答と検索タスクの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2025-05-26T06:13:07Z)
• On Storage Neural Network Augmented Approximate Nearest Neighbor Search [1.3654846342364308]
  メモリ上のデータではなく、ストレージデバイスに格納されているデータから、与えられたクエリベクターに最もよく似たベクターを検索する必要がある。 本稿では,ニューラルネットワークを用いて正しいクラスタを予測する手法を提案する。 K平均クラスタリングと線形サーチを併用した,最先端SPANNと網羅的手法と比較して, SIFT1Mでは, ストレージから取得したデータの80%と58%の削減で, 90%のリコールを実現している。
  論文  参考訳（メタデータ） (2025-01-23T06:56:18Z)
• Characterizing the Dilemma of Performance and Index Size in Billion-Scale Vector Search and Breaking It with Second-Tier Memory [14.432536669959218]
  大規模データセットのベクター検索は、Web検索やRAGのような現代的なオンラインサービスにとって極めて重要である。 既存のSSDベースのグラフとクラスタインデックスのパフォーマンスとインデックスサイズのトレードオフを特徴付ける。 ベクターインデックスは、様々な第2階層メモリデバイスにおいて、桁違いに小さなインデックス増幅で最適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-05-06T08:38:14Z)
• AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
  本稿では、圧縮ベクトルをSSDインデックスにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。 本手法は,10 MB のメモリ使用率を数十億のデータセットによるクエリ検索で実現し,遅延の致命的な劣化を伴わない。
  論文  参考訳（メタデータ） (2024-04-09T04:20:27Z)
• Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching [59.8522166385372]
  大規模グラフ上でのグラフニューラルネットワーク(GNN)のトレーニングと推論は、GNNの登場以来活発に研究されている。 本稿では,分散環境におけるノードワイドサンプリングを用いたGNNによるミニバッチ学習と推論について述べる。 分割された特徴データを扱うために,従来のSALIENTシステムを拡張したSALIENT++を提案する。
  論文  参考訳（メタデータ） (2023-05-04T21:04:01Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。