論文の概要: Coverage Is Not Redundancy: Maintenance Cost and Exposure of Query-Aware Admission Indexes in Vector Databases Under Workload Drift
- arxiv url: http://arxiv.org/abs/2608.16043v1
- Date: Mon, 17 Aug 2026 03:11:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.512436
- Title: Coverage Is Not Redundancy: Maintenance Cost and Exposure of Query-Aware Admission Indexes in Vector Databases Under Workload Drift
- Title(参考訳): カバレッジは冗長性ではない: ワークロードドリフト下のベクトルデータベースにおけるクエリアウェア・アドミッション・インデックスのメンテナンスコストと露出
- Abstract要約: プロダクションスケールの検索を行うベクトルデータベースにおいて、クエリワークロードの異常に大きな共有のために単一の挿入文書を検索することができる。
新規の防衛要員は、入場チェックでこれを摂取します。
我々は、管理が摂取経路に課すコストについて検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In a vector database serving production-scale retrieval, a single inserted document can be retrieved for an anomalously large share of the query workload -- a retrieval hub -- and dominate the evidence returned for an entire topic. An emerging defense guards against this at ingest with an admission check: it maintains a set of sentinel queries and admits a document only if its reverse-kNN count against them stays below a threshold tau. Under workload drift this sentinel set is a query-aware auxiliary index that must be maintained online, and we study the cost that maintenance imposes on the ingest path. We identify a structural limit -- coverage is not redundancy: a monitor stops promoting sentinels once a region is covered, but the predicate rejects a hub only once tau sentinels witness it, so exposure has an observation-limited floor that no reduction in update or enforcement latency can close. On real HNSW, IVF-Flat, and IVF-PQ indexes over an 8.8M-vector MS MARCO corpus this floor is only a best case: as index recall falls, exposure and churn rise above it, and below recall ~0.5 the gate stops containing altogether -- worst on the memory-compressed IVF-PQ used at billion scale -- while a recall-aware witness probe restores containment at a fixed O(|S|d) admission cost, under 0.1% of the ANN insert. We validate the law under real (COVID-19) workload drift, implement the gate in PostgreSQL/pgvector at a 0.33% ingest tax, and turn the bound into a provisioning rule that sizes the sentinel budget per emerging region. A count test contains the hub where retrieval-time score normalizers (NNN, QB-Norm) do not, and a pre-registered causal suite isolates the missing-coverage mechanism from retrieval fragmentation across two embedding families (BGE-1024, E5-768).
- Abstract(参考訳): プロダクションスケールの検索を提供するベクトルデータベースでは、クエリワークロード(検索ハブ)の異常に大きなシェアに対して単一の挿入ドキュメントを検索し、トピック全体に対して返されるエビデンスを支配できる。
一連のセンチネルクエリを保持し、それらに対する逆kNNカウントがしきい値タウ以下である場合に限り文書を許可する。
作業負荷のドリフトの下では、このセンチネルセットは、オンラインに維持する必要があるクエリ対応の補助インデックスであり、メンテナンスが摂食経路に課すコストを調査する。
監視は、リージョンがカバーされたときにセンチネルを宣伝するのを停止するが、述語は、タウセンチネルがそれを目撃した時にのみハブを拒絶するので、露出は、更新や強制のレイテンシの削減が不可能な、観察に制限されたフロアを持つ。
8.8MベクターのMS MARCOコーパス上の実際のHNSW、IVF-Flat、IVF-PQインデックスでは、このフロアはベストケースに過ぎず、インデックスのリコールが落ちて、露出とチャーンが上を上昇し、リコールが0.5以下になると、メモリ圧縮されたIVF-PQが10億スケールで使用されるのが最悪となり、リコールを意識した目撃者プローブが固定O(|S|d)の入場コストを0.1%以下で回復する。
我々は、実際の(COVID-19)ワークロードドリフトの法則を検証し、PostgreSQL/pgvectorのゲートを0.33%の収量税で実装し、新興地域ごとのセンチネル予算を縮小するプロビジョニングルールに変換する。
カウントテストは、検索時間スコア正規化器(NNN,QB−Norm)がしないハブを含み、予め登録された因果関係スイートは、2つの埋め込みファミリー(BGE-1024,E5-768)にわたる検索断片化から欠落カバー機構を分離する。
関連論文リスト
- TRACE: Trajectory-robust Admission with Evidence Ordering for Efficient GUI Agents [54.88208747581851]
トレーニング不要のビジュアルトークンプルーニングは、このコストを削減することができるが、キャッシュ再利用には基本的な制約が伴う。
我々は,emphtextbfTrajectory-textbfrobust textbfAdmission と textbfCoverage-aware textbfEvidence ordering のためのトレーニング不要フレームワーク textbfmethod を提案する。
論文 参考訳(メタデータ) (2026-09-09T15:12:48Z) - GRIP: Grounded Reasoning via Information-Restricted Premises [0.0]
検索拡張生成(RAG)における高容量エンコーダは、クエリが潜在状態を支配でき、検索された証拠は機能的に無関係である。
容量非対称性を課す textbfGRIP を導入する。
これにより、エビデンスチャンネルはクエリから入手できない残余情報のみをエンコードせざるを得なくなる。
論文 参考訳(メタデータ) (2026-08-17T16:23:49Z) - Mean Time to Remediate Is Not a Fielding Model: A Cadence Audit for Enterprise Vulnerability Management [51.56484100374058]
本稿では,企業脆弱性管理のための改善ケイデンス監査について紹介する。
平均ラグ、放出期間、放出率、コホート幾何、緊急/ルーチン分割、非着地遅延、局所残留圧証拠、宣言されたレートシナリオを記録している。
論文 参考訳(メタデータ) (2026-07-05T21:23:26Z) - Conductance-Repair Evidence Graphs for Prospective Security Retrieval [0.2864713389096699]
コンダクタンス・リペアエビデンスグラフは、時間的許容マスク上で検索を行うタイムスタンプフレームワークであり、不足チャネルは予測者ではなく決定論的グラフフロー再帰によって拡張される。
現在のアーティファクトは、30の重複した公開セキュリティ記録、57の用語、58の許容可能なドキュメント終端を具体化している。
ランダムエッジ保持では、コンダクタンス修復はリコール@(k)を0.017から0.069に、平均精度は0.062から0.060に変更し、合成セキュリティフィクスチャはリコール@(k)を0.055から0.099に改善した。
論文 参考訳(メタデータ) (2026-07-05T01:03:15Z) - When Global Gating Is Enough: Admission-Time Hubness Control in Anisotropic Vector Retrieval Systems [0.0]
挿入前,各候補をセンチネルクエリに対してスコアリングし,ハブライクな文書を隔離し,入場時間制御について検討した。
2つの10万のドキュメントコーパス、5つのエンコーダ、そして接続不能な攻撃者およびディフェンダークエリセットにまたがって、グローバルゲートは決定的な埋め込みスペースポイントでリコール1.0を達成する。
HNSWでは、摂取遅延が約3.1%増加し、スコアは106ベクトルに一定であり、決定の1.2%は近似インデックス化の下で反転する。
論文 参考訳(メタデータ) (2026-06-18T01:40:36Z) - Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval [48.348257016776195]
生成検索(GR)は、文書識別子を自動回帰生成することで文書をランク付けする。
多くのGR法は三重遅延ビームサーチに依存しており、有限ビームデコードの下で関連する接頭辞の早期刈り取りに弱い。
生成検索の計画 Ahead in Generative Retrieval (PAG) は、同時復号法を用いて、その後の逐次復号を導く文書レベルのルックアヘッドを計算することで、この障害モードを緩和する。
論文 参考訳(メタデータ) (2026-04-25T17:58:15Z) - HaS: Accelerating RAG through Homology-Aware Speculative Retrieval [9.230969223605602]
知識データベースのサイズが大きくなるにつれて、検索は時間がかかります。
ホモロジーを意識した投機的検索フレームワークHaSを提案する。
HaSは、現実世界の人気パターン下でのクエリの頻度から恩恵を受け、かなりの効率向上を達成する。
論文 参考訳(メタデータ) (2026-04-22T11:15:54Z) - IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。
IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
論文 参考訳(メタデータ) (2026-04-22T03:03:33Z) - AEGIS: From Clues to Verdicts -- Graph-Guided Deep Vulnerability Reasoning via Dialectics and Meta-Auditing [9.271196825503417]
大きな言語モデル(LLM)は、脆弱性検出にますます採用されているが、その推論は基本的には正しくない。
AEGISは、未解決の投機から、クローズドな事実ベース上の法医学的検証へ、検出をシフトする新しいマルチエージェントフレームワークである。
これは、主要なベースラインと比較して偽陽性率を最大54.40%削減し、1サンプルあたりの平均コストはタスク固有のトレーニングなしで0.09ドルである。
論文 参考訳(メタデータ) (2026-03-21T04:12:04Z) - SafeLoad: Efficient Admission Control Framework for Identifying Memory-Overloading Queries in Cloud Data Warehouses [59.68732483257323]
メモリオーバーロードは、クラウドデータウェアハウスにおけるリソースの枯渇の一般的な形態である。
我々は,メモリオーバロード(MO)クエリの特定に特化して設計された,最初のクエリ入力制御フレームワークであるSafeLoadを提案する。
SafeLoadは、オンラインおよびオフライン時間オーバーヘッドの少ない最先端の予測性能を実現する。
論文 参考訳(メタデータ) (2026-01-05T08:29:51Z) - ImpliRet: Benchmarking the Implicit Fact Retrieval Challenge [50.93758649363798]
Impliretは、推論の課題をドキュメント側処理にシフトするベンチマークである。
我々は,この環境下で苦戦している,疎水・密集したレトリバーの幅を評価した。
論文 参考訳(メタデータ) (2025-06-17T11:08:29Z) - Injecting Domain Adaptation with Learning-to-hash for Effective and
Efficient Zero-shot Dense Retrieval [49.98615945702959]
我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。
以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
論文 参考訳(メタデータ) (2022-05-23T17:53:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。