論文の概要: HyperPage: Learned Page Layouts for Disk-Resident Graph Vector Indexes
- arxiv url: http://arxiv.org/abs/2611.16149v1
- Date: Thu, 12 Nov 2026 01:21:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.296337
- Title: HyperPage: Learned Page Layouts for Disk-Resident Graph Vector Indexes
- Title(参考訳): HyperPage: ディスク常駐グラフベクトルインデックスのための学習済みページレイアウト
- Abstract要約: DiskANNのようなディスク常駐グラフインデックスは、各ベクトルをグラフエッジをSSDページ上の1つのレコードとして格納する。
検索には拡大するすべてのレコードのページが必要であるため、ページの読み込みはページレイアウト、すなわちレコードがページを共有するページに依存する。
宣言されたメモリ予算のインデックスをレイアウトするために、HyperPageを提案する。
- 参考スコア(独自算出の注目度): 12.457670937221073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Disk-resident graph indexes such as DiskANN store each vector with its graph edges as one record on SSD pages. A search needs the page of every record it expands, so its page reads depend on the page layout, that is, which records share a page. Search agents trained with reinforcement learning query one such index run after run, and every graph traversal can be logged with the records it expands. We therefore use the logs of a finished run to lay out the index for a declared memory budget, so later runs read fewer pages. In contrast, existing layouts such as Starling and MARGO are computed from the graph and vectors and use no logs. Learning a layout from logs is challenging, because the logs must stay valid under every layout, the saving depends on what the budget caches, and the best layout is NP-hard to find. Our key observation is that DiskANN-style search routes on in-memory codes and the records it expands, never on their page-mates. As a result, the logged traversals price every layout by replay, and cached records add no page reads. Accordingly, we propose HyperPage, which first builds layouts for the declared budget on the logged traversals of uncached records. It then selects one layout, together with the budget split between hot records and a page cache, by replaying validation steps. In addition, a Lagrangian lower bound shows how far a layout may be from the optimum. We learn from one Search-R1 agent run and test on a later run with a different reward, over 1M and 21M passages. Across seven cache budgets, HyperPage reads 5.2% to 21.2% fewer pages than MARGO, and no compared layout reads fewer. The advantage is largest when the cache is small. For example, at 1% of the 1M index, MARGO needs nearly 3 times the budget to read as few pages. On the 21M index, HyperPage also cuts search time per step by up to 10.4%. The saving holds for a second agent model and a second corpus.
- Abstract(参考訳): DiskANNのようなディスク常駐グラフインデックスは、各ベクトルをグラフエッジをSSDページ上の1つのレコードとして格納する。
検索には拡大するすべてのレコードのページが必要であるため、ページの読み込みはページレイアウト、すなわちレコードがページを共有するページに依存する。
強化学習クエリでトレーニングされた検索エージェントは、実行後にそのインデックスを実行する。
したがって、実行完了時のログを使用して、宣言されたメモリ予算のインデックスをレイアウトします。
対照的に、StarlingやMARGOのような既存のレイアウトはグラフとベクトルから計算され、ログを使用しない。
ログはすべてのレイアウトで有効でなければならないため、ログからレイアウトを学ぶことは難しい。
キーとなる観察は、DiskANNスタイルの検索ルートがインメモリコードとそれが拡張するレコード上にあり、ページメイトにはないということです。
その結果、ログ化されたトラバーサルはリプレイによってレイアウトごとに価格を付け、キャッシュされたレコードはページ読み込みをしない。
そこで我々は、最初に宣言された予算のレイアウトを、未キャッシュレコードのログ付きトラバーサル上に構築するHyperPageを提案する。
次に、検証ステップを再生することで、ホットレコードとページキャッシュの予算分割とともに、1つのレイアウトを選択する。
さらに、ラグランジアンの下界は、レイアウトが最適からどれくらいの距離にあるかを示している。
あるSearch-R1エージェントから学び、1Mと21Mのパスが異なる報酬で、後で実行し、テストします。
7つのキャッシュ予算で、HyperPageはMARGOよりも5.2%から21.2%少ないページを読み込む。
キャッシュが小さい場合、その利点は最大です。
例えば、100Mインデックスの1%では、MARGOはページ数で読むのに約3倍の予算が必要である。
21Mインデックスでは、HyperPageはステップ毎の検索時間を最大10.4%削減する。
第2のエージェントモデルと第2のコーパスの保存を保持する。
関連論文リスト
- Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding [0.0]
LOCKSは、各ページに独自のスペクトル概要を与え、ページ内のログを再構築し、各ページの注目質量をlog-sum-expで推定し、トップページのみに出席する。
LOCKSは、ベースラインセレクタが崩壊する長文推論(AIME26, MATH-500)で最大のマージンを示している。
論文 参考訳(メタデータ) (2026-07-27T15:28:52Z) - BOOKMARKS: Efficient Active Storyline Memory for Role-playing [67.91742986947936]
BookMARKSはロールプレイングエージェントのための検索ベースのメモリフレームワークである。
現在のタスクに対するタスク関連ブックマークを積極的に初期化し、維持し、更新する。
BookMARKSは16のアーティファクトから85文字のRPAメモリベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2026-05-13T22:48:24Z) - MemSearch-o1: Empowering Large Language Models with Reasoning-Aligned Memory Growth in Agentic Search [59.98962867649009]
本稿では,メモリ成長とリトラシングに基づくエージェント検索フレームワークであるMemSearch-o1を提案する。
MemSearch-o1はクエリからメモリシードトークンからきめ細かいメモリフラグメントを成長させ、コントリビューション関数を通じてメモリを再トレースし、深く洗練し、最終的にグローバルに接続されたメモリパスを再編成する。
論文 参考訳(メタデータ) (2026-04-19T05:35:06Z) - IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse [68.18308357205586]
Longcontext Agenticは、大規模言語モデルの定義ユースケースとして登場した。
Sparseは、この課題を効果的に解決し、DeepSeek Sparse Attention(DSA)は、代表的なプロダクショングレードソリューションである。
我々は、レイヤを独自のインデクサを実行するフルレイヤの小さなセットと、最も近いフルレイヤのトップkインデックスを単純に再利用する共有レイヤの大多数に分割することで、層間の冗長性を利用するIndexCacheを紹介します。
論文 参考訳(メタデータ) (2026-03-12T17:27:21Z) - Scalable Disk-Based Approximate Nearest Neighbor Search with Page-Aligned Graph [3.994346326254537]
本稿では,ディスクベースの近接探索(ANNS)フレームワークであるPageANNを提案する。
その結果、PageANNは最先端(SOTA)ディスクベースのANNS法を著しく上回り、1.85x-10.83倍のスループット、51.7%-91.9%のレイテンシを異なるデータセットとメモリ予算で達成した。
論文 参考訳(メタデータ) (2025-09-29T20:44:13Z) - LEANN: A Low-Storage Vector Index [70.13770593890655]
LEANNは、リソース制約されたパーソナルデバイスに最適化された、ストレージ効率の近い近接検索インデックスである。
評価の結果,LEANNは原データの5%以下までインデックスサイズを縮小し,標準インデックスの最大50倍のストレージを実現した。
論文 参考訳(メタデータ) (2025-06-09T22:43:30Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳(メタデータ) (2024-07-22T14:37:58Z) - Characterizing the Dilemma of Performance and Index Size in Billion-Scale Vector Search and Breaking It with Second-Tier Memory [14.432536669959218]
大規模データセットのベクター検索は、Web検索やRAGのような現代的なオンラインサービスにとって極めて重要である。
既存のSSDベースのグラフとクラスタインデックスのパフォーマンスとインデックスサイズのトレードオフを特徴付ける。
ベクターインデックスは、様々な第2階層メモリデバイスにおいて、桁違いに小さなインデックス増幅で最適な性能が得られることを示す。
論文 参考訳(メタデータ) (2024-05-06T08:38:14Z) - AiSAQ: All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval [1.099532646524593]
本稿では、圧縮ベクトルをSSDインデックスにオフロードするAiSAQ(All-in-Storage ANNS with Product Quantization)を提案する。
本手法は,10 MB のメモリ使用率を数十億のデータセットによるクエリ検索で実現し,遅延の致命的な劣化を伴わない。
論文 参考訳(メタデータ) (2024-04-09T04:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。