論文の概要: AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval

• arxiv url: http://arxiv.org/abs/2404.06004v1
• Date: Tue, 9 Apr 2024 04:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 15:58:48.216879
• Title: AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval
• Title（参考訳）: AiSAQ:DRAMフリー情報検索のための製品量子化機能付きオールインストレージANNS
• Authors: Kento Tatsuno, Daisuke Miyashita, Taiga Ikeda, Kiyoshi Ishiyama, Kazunari Sumiyoshi, Jun Deguchi,
• Abstract要約: DiskANNは、RAMとストレージの両方を使用して、大規模データセットのリコール速度バランスを良好に実現している。 製品量子化(PQ)による圧縮ベクターのロードによるメモリ使用量の削減を主張する一方で、そのメモリ使用量はデータセットの規模に比例して増加する。 本稿では、圧縮されたベクトルをストレージにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。
• 参考スコア（独自算出の注目度）: 1.099532646524593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In approximate nearest neighbor search (ANNS) methods based on approximate proximity graphs, DiskANN achieves good recall-speed balance for large-scale datasets using both of RAM and storage. Despite it claims to save memory usage by loading compressed vectors by product quantization (PQ), its memory usage increases in proportion to the scale of datasets. In this paper, we propose All-in-Storage ANNS with Product Quantization (AiSAQ), which offloads the compressed vectors to storage. Our method achieves $\sim$10 MB memory usage in query search even with billion-scale datasets with minor performance degradation. AiSAQ also reduces the index load time before query search, which enables the index switch between muitiple billion-scale datasets and significantly enhances the flexibility of retrieval-augmented generation (RAG). This method is applicable to all graph-based ANNS algorithms and can be combined with higher-spec ANNS methods in the future.
• Abstract（参考訳）: 近似近接グラフに基づく近接探索(ANNS)手法において、DakANNはRAMとストレージの両方を用いて大規模なデータセットに対して良好なリコール速度バランスを実現する。 製品量子化(PQ)による圧縮ベクターのロードによるメモリ使用量の削減を主張する一方で、そのメモリ使用量はデータセットの規模に比例して増加する。 本稿では、圧縮されたベクトルをストレージにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。 本手法は,数十億のデータセットを用いても,クエリ検索におけるメモリ使用量として$10 MBの$\sim$10 MBを実現している。 AiSAQはまた、クエリ検索前のインデックスロード時間を短縮し、数十億規模のデータセット間のインデックススイッチを可能にし、検索拡張生成(RAG)の柔軟性を著しく向上する。 この手法は全てのグラフベースのANNSアルゴリズムに適用でき、将来的にはより高度なANNS手法と組み合わせることができる。

関連論文リスト

• Characterizing the Dilemma of Performance and Index Size in Billion-Scale Vector Search and Breaking It with Second-Tier Memory [14.432536669959218]
  大規模データセットのベクター検索は、Web検索やRAGのような現代的なオンラインサービスにとって極めて重要である。 既存のSSDベースのグラフとクラスタインデックスのパフォーマンスとインデックスサイズのトレードオフを特徴付ける。 ベクターインデックスは、様々な第2階層メモリデバイスにおいて、桁違いに小さなインデックス増幅で最適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-05-06T08:38:14Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• ESPN: Memory-Efficient Multi-Vector Information Retrieval [0.36832029288386137]
  マルチベクトルモデルは、検索インデックスのメモリとストレージの要求を桁違いに増幅する。 ストレージパイプラインネットワーク(ESPN)からEmbeddingを導入し、再ランクの埋め込みテーブル全体をオフロードして、メモリ要求を5～16倍削減します。 我々は、ヒット率90%を超えるソフトウェアプレフィッシャーを設計し、SSDベースの検索を6.4倍に改善し、大規模なクエリバッチサイズであっても、ほぼメモリレベルのクエリレイテンシを維持できることを実証した。
  論文  参考訳（メタデータ） (2023-12-09T00:19:42Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• PIM-DRAM:Accelerating Machine Learning Workloads using Processing in Memory based on DRAM Technology [2.6168147530506958]
  MLワークロードにおける行列ベクトル演算を高速化する処理インメモリ(PIM)プリミティブを提案する。 提案したアーキテクチャ,マッピング,データフローは,GPUよりも最大で23倍,6.5倍のメリットが得られることを示す。
  論文  参考訳（メタデータ） (2021-05-08T16:39:24Z)
• IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
  分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。 クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。 我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
  論文  参考訳（メタデータ） (2021-03-17T23:13:25Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• Hands-off Model Integration in Spatial Index Structures [8.710716183434918]
  本稿では,軽量機械学習モデルを用いて空間インデックスのクエリを高速化する機会について検討する。 我々は、R木において、おそらく最も広く使われている空間指標である、それと類似した手法を使うことの可能性を探ることによって、そうする。 分析で示すように、クエリの実行時間を最大60%削減でき、同時にインデックスのメモリフットプリントを90%以上削減できる。
  論文  参考訳（メタデータ） (2020-06-29T22:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。