論文の概要: REWEAVE: Online Learning for Workload-Adaptive HNSW Indexes
- arxiv url: http://arxiv.org/abs/2611.16060v1
- Date: Wed, 11 Nov 2026 22:18:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.281689
- Title: REWEAVE: Online Learning for Workload-Adaptive HNSW Indexes
- Title(参考訳): REWEAVE: ワークロード適応型HNSWインデックスのためのオンライン学習
- Abstract要約: 本稿では,クエリフィードバックからエッジユーティリティを学習するオンラインインデックス管理手法REWEAVEを提案する。
静止スキューの下では、REWEAVEはホールドアウトリコールを最大23.3%改善している。
クエリドリフトを備えたAmazon-ESCIでは、ストリームリコール@100を0.745から0.979に増加させ、フリーズしたHNSWよりも34%少ない検索距離計算を実現している。
- 参考スコア(独自算出の注目度): 7.200346063115846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector databases rely on Hierarchical Navigable Small World (HNSW) indexes for similarity search, but a graph built from data alone can be poorly matched to a skewed or changing query workload. We present REWEAVE (Reward-Guided Rewiring of Vector Graphs), an online index-maintenance method that learns edge utility from query feedback and periodically rewires the bottom layer within the original per-node degree cap. The method supports sparse exact-neighbor feedback combined with self-labels, and standard HNSW serving without learning overhead once adaptation is disabled. Under explicit assumptions we prove value-estimation and graph-stabilization guarantees. Under stationary skew, REWEAVE improves held-out recall by up to 23.3 percentage points over HNSW. In comparisons with query-aware baselines on up to 100M vectors, it achieves up to 3.3x NGFix's query throughput at recall@100 of 0.80. On Amazon-ESCI with query drift, it increases stream recall@100 from 0.745 to 0.979 with 34% fewer search distance computations than frozen HNSW. These results illustrate the potential to improve retrieval quality and reduce search effort within an existing graph-degree budget, while incurring additional work during adaptation.
- Abstract(参考訳): ベクトルデータベースは、類似検索のために階層的ナビゲート可能な小型世界(HNSW)インデックスに依存しているが、データだけで構築されたグラフは、歪んだり、クエリのワークロードを変更するのによく一致しない。
ReWEAVE(Reward-Guided Rewiring of Vector Graphs, Reward-Guided Rewiring of Vector Graphs)は,クエリフィードバックからエッジユーティリティを学習し,下位層を元のノード単位の次数上限内で定期的にリワイヤするオンラインインデックス管理手法である。
本手法は、自己ラベルと組み合わされた疎密な近接フィードバックをサポートし、適応が無効になれば、オーバーヘッドを学習することなく、標準のHNSWサービスを提供する。
明示的な仮定の下では、値を推定し、グラフ安定化を保証する。
静止スキューの下では、REWEAVEはホールドアウトリコールを最大23.3%改善している。
クエリ対応のベースラインを最大1億のベクトルで比較すると,recall@100の0.80で最大3.3倍のNGFixのクエリスループットを実現している。
クエリドリフトを備えたAmazon-ESCIでは、ストリームリコール@100を0.745から0.979に増加させ、フリーズしたHNSWよりも34%少ない検索距離計算を実現している。
これらの結果は,既存のグラフ度予算において,検索品質の向上と検索作業の削減を図りつつ,適応中に追加作業を行う可能性を示している。
関連論文リスト
- ReuseGR: Offline--Online Decoupled Generative Retrieval via Adaptive Prefix Reuse [30.366862304284158]
ReuseGRは、クエリレベルの候補計画とリクエストレベルのパーソナライズされた補完を分離する。
約200万のクエリ-イテムレコードと338万のカタログ項目を持つ産業検索広告データセットでは、ReuseGRはクエリレベルHR@100を3.83ポイント改善する。
論文 参考訳(メタデータ) (2026-11-03T03:51:38Z) - QREF: Improving DeepSearch Agents by Aligning Search with Reasoning via Query Refinement and Evidence Filtering [70.83365338105564]
提案するQREFは,クエリリファイナとエビデンスフィルタである。
QREFは、現在の推論意図に従って検索クエリを書き換える。
エビデンスフィルタは、現在の検索バッチと推論目的の両方に関連する証拠を保持する。
論文 参考訳(メタデータ) (2026-10-15T08:47:44Z) - Learning to Retrieve via Reinforcement Learning in Embedding Space [18.486089919835592]
RELERは、埋め込みモデルが埋め込み空間で直接検索することを学ぶことができる強化学習フレームワークである。
我々は、正規化エンコーダ出力を中心としたvon Mises-Fisher (vMF) から、単位長クエリと文書埋め込みアクションをサンプリングしてRELERを訓練する。
条件平均射影 (CMP) は、それぞれのサンプルをエンコーダ出力で区切られた低次元部分空間に埋め込む。
論文 参考訳(メタデータ) (2026-10-06T04:29:29Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳(メタデータ) (2026-08-05T14:01:10Z) - HNSW with Accuracy Guarantees Using Graph Spanners [7.703662859297531]
Certify-then-Rectify"フレームワークは、検索速度と正確な検索の厳密さのギャップを埋める。
提案手法では,まず分布のない統計証明を用いて標準HNSW検索の品質を動的に評価する。
論文 参考訳(メタデータ) (2026-07-02T15:44:43Z) - Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation [10.60293484295824]
適応RAGをキャリブレーションした検索予算配分として定式化する。
シーケンスログの確率とプレフィックスログの不確実性信号を正しさの確率に調整する。
シーケンスログの確率については、TriviaQAでは0.275から0.062に、NQでは0.643から0.009に、MS MARCOでは0.711から0.031に低下する。
論文 参考訳(メタデータ) (2026-06-29T08:36:33Z) - ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion [0.0]
本稿では,ScoreGateについて述べる。ScoreGateは軽量なスコア空間決定機構で,推定時刻における検索濃度を制御する。
MS MARCO (200 開発クエリ)では、ScoreGate は MRR@10 = 0.401 を達成する。
MS MARCOと実世界の生産トラフィックの結果から,適応的検索基準は検索品質を劣化させることなく,検索効率を向上させることが示唆された。
論文 参考訳(メタデータ) (2026-06-12T08:51:24Z) - Improving Passage Retrieval with Zero-Shot Question Generation [109.11542468380331]
オープンな質問応答における経路検索を改善するための,シンプルで効果的な再ランク付け手法を提案する。
再ランカは、学習済み言語モデルを用いて、検索されたパスに条件付けられた入力質問の確率を算出するゼロショット質問生成モデルを用いて、検索されたパスを再スコアする。
論文 参考訳(メタデータ) (2022-04-15T14:51:41Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳(メタデータ) (2021-03-17T23:13:25Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳(メタデータ) (2020-12-25T14:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。