論文の概要: D-NOVA: In-Storage Retrieval Accelerator via Dual-Bound 3D NAND-Optimized Similarity Search with Vector Adaptation

• arxiv url: http://arxiv.org/abs/2607.17538v1
• Date: Mon, 20 Jul 2026 04:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.498095
• Title: D-NOVA: In-Storage Retrieval Accelerator via Dual-Bound 3D NAND-Optimized Similarity Search with Vector Adaptation
• Title（参考訳）: D-NOVA:D-Bund 3D NAND-Optimized similarity Search with Vector Adaptation
• Abstract要約: D-NOVA(D-NOVA)は、ハードウェアとソフトウェアの共同設計によるストレージ検索アクセラレータである。 検索機能をNANDメモリアレイに直接埋め込むことにより、逆ファイル(IVF)ベースの階層的検索パイプラインを実行する。 CPUベースラインよりも最大41.7倍、エネルギー効率は71倍、スループットは12.13倍、エネルギー効率は最大1.26倍である。
• 参考スコア（独自算出の注目度）: 8.53678479528538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) enhances the factual grounding of large language model (LLM) inference by retrieving relevant information from external knowledge bases. However, its dense vector retrieval introduces significant latency and energy overhead, becoming the primary performance bottleneck. Although recent in-storage accelerators aim to reduce data movement, they still rely on host or embedded processors outside the memory, where nearly 70% of the total retrieval time is spent. As a result, they cannot fully overcome the bandwidth limitations, leading to yet another memory bottleneck. To tackle these limitations, we present D-NOVA, a hardware-software co-designed in-storage retrieval accelerator. D-NOVA executes an inverted file (IVF)-based hierarchical retrieval pipeline by deeply embedding the search functionality directly into the NAND memory array. This is achieved by incorporating a new distance metric, Dual-Bound Tight Similarity Sensing (DTS), which is specifically tailored for searching within the NAND string. In addition, we introduce a lightweight contrastive adapter that maps embedding vectors into a DTS-friendly domain, recovering near-software recall while improving performance and energy efficiency. D-NOVA is up to 41.7x faster and 71x more energy-efficient than a CPU baseline, and achieves 12.13x higher throughput while being up to 1.26x more energy-efficient than state-of-the-art in-storage RAG accelerators, demonstrating the potential of fully in-storage vector search for scalable RAG acceleration.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部知識ベースから関連する情報を取得することにより、大規模言語モデル(LLM)推論の事実的基盤を強化する。 しかし、その密度の高いベクトル検索は大きなレイテンシとエネルギーオーバーヘッドをもたらし、主要なパフォーマンスボトルネックとなる。 最近のインストレージアクセラレーターはデータの移動を減らそうとしているが、それでもメモリ外のホストまたは組み込みプロセッサに依存しており、総検索時間の70%近くが費やされている。 その結果、帯域幅の制限を完全に克服することはできず、また別のメモリボトルネックが発生する。 これらの制約に対処するため,ハードウェア・ソフトウェア共同設計型ストレージ検索アクセラレータD-NOVAを提案する。 D-NOVAは、検索機能をNANDメモリアレイに直接埋め込むことにより、逆ファイル(IVF)ベースの階層的検索パイプラインを実行する。 これは、NAND文字列内での探索用に特別に調整された新しい距離メートル法であるDual-Bound Tight similarity Sensing (DTS)を組み込むことによって達成される。 さらに,組み込みベクトルをDTSフレンドリなドメインにマッピングし,ソフトウェアに近いリコールを回復し,性能とエネルギー効率を向上する軽量コントラストアダプタを提案する。 D-NOVAはCPUベースラインよりも41.7倍高速で71倍エネルギー効率が高く、12.13倍高いスループットを実現し、最先端のRAGアクセラレータよりも1.26倍高いエネルギー効率を実現している。

関連論文リスト

• Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
  我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-08-31T15:13:20Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• FaTRQ: Tiered Residual Quantization for LLM Vector Search in Far-Memory-Aware ANNS Systems [16.221654013698963]
  FaTRQは、ストレージから完全なベクトルを取り出す必要をなくす、メモリを意識した改良システムである。 カスタムアクセラレータはCXL Type-2デバイスにデプロイされ、ローカルで低遅延リファインメントを実行する。 FaTRQは、ストレージ効率を2.4$times$で改善し、スループットをSOTA GPU ANNSシステムよりも最大9$$で改善する。
  論文  参考訳（メタデータ） (2026-01-15T01:59:29Z)
• TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval [16.65446281180872]
  Retrieval-augmented Generation (RAG)は、大規模な言語モデル(LLM)を外部データソースに拡張する。 現代のRAGパイプラインは大規模なデータストアに依存しており、レイテンシに敏感なデプロイメントにおけるシステムの課題につながっている。 我々は,GPUメモリの必要量を最小限に抑え,RAGレイテンシを低減する効率的な推論システムであるTeleRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-28T11:32:22Z)
• COMPASS: A Compiler Framework for Resource-Constrained Crossbar-Array Based In-Memory Deep Learning Accelerators [6.172271429579593]
  本稿では、資源制約付きクロスバーベース処理インメモリ(PIM)ディープニューラルネットワーク(DNN)アクセラレーターのためのコンパイラフレームワークを提案する。 本稿では,各パーティションをチップ上で高速化するために,各レイヤを分割する最適なパーティショニングを決定するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-12T11:31:25Z)
• Accelerating Retrieval-Augmented Generation [15.179354005559338]
  Retrieval-Augmented Generation (RAG)は、Webのような外部知識ソースから取得した情報によって、大きな言語モデルを拡張する。 IKSは、ホストCPUとニアメモリアクセラレータ間の新しいキャッシュコヒーレントインターフェースを備えたスケールアウトニアメモリアクセラレーションアーキテクチャを実装したタイプ2 CXLデバイスである。
  論文  参考訳（メタデータ） (2024-12-14T06:47:56Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation [10.563649948220371]
  ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。 それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。 超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-25T18:50:24Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving [94.40107679615618]
  本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。 エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。 パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
  論文  参考訳（メタデータ） (2020-06-15T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。