論文の概要: Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval
- arxiv url: http://arxiv.org/abs/2606.04603v1
- Date: Wed, 03 Jun 2026 08:41:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.634556
- Title: Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval
- Title(参考訳): 不確かさを意識した検索のための分布近似近傍探索
- Authors: Olivier Jeunen,
- Abstract要約: 組込み不確実性を候補生成に組み込む枠組みを提案する。
DINOSAURは、ポイント推定をインデックスする代わりに、アイテムごとに$S_i$の埋め込みをサンプリングし、この拡張セットにインデックスを構築する。
DINOSAURは、不確実性が消えるにつれて、標準点推定検索を回復することを示す。
- 参考スコア(独自算出の注目度): 8.291484471359633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Approximate Nearest Neighbour search indices form the backbone of real-world recommender systems, enabling real-time candidate retrieval over million-item catalogues. Typically, a single point estimate embedding is learnt for every user and every item. At serving time, the user embedding queries the index for relevant items. Since these representations are learnt from sparse interaction data, they are noisy and might fail to capture all the nuances that contribute to ``relevance'' -- ignoring the fundamental uncertainty that is inherent to them. The result is a retrieval pipeline that is systematically biased toward the small minority of popular head items with well-estimated embeddings, at the expense of the long-tail majority of niche, diverse, and serendipitous content. We propose DINOSAUR (Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval): a simple and infrastructure-compatible framework to incorporate embedding uncertainty into candidate generation. Rather than indexing point estimates, DINOSAUR samples $S_i$ embeddings per item and constructs an index on this augmented set. Analogously, at query time, a user embedding is sampled. This two-sided stochastic retrieval process implicitly marginalises over embedding uncertainty, without requiring changes to model architecture or ANN index infrastructure. On the analytical side, we show that DINOSAUR recovers standard point-estimate retrieval as uncertainty vanishes, and we characterise how increased embedding variance expands the regions of latent space in which uncertain items are retrievable. Reproducible empirical observations align with these expectations, showing large coverage gains with small losses in offline recall.
- Abstract(参考訳): 近似Nearest Neighbour検索インデックスは、現実世界のレコメンデーションシステムのバックボーンを形成し、100万項目のカタログ上のリアルタイム候補検索を可能にする。
通常、単一ポイント推定の埋め込みは、すべてのユーザとすべてのアイテムに対して学習される。
サービス時には、ユーザがインデックスを埋め込み、関連する項目を問い合わせる。
これらの表現は疎結合データから学習されるため、ノイズが多く、'relevance''に寄与するすべてのニュアンスをキャプチャできない可能性がある。
結果は、ニッチで多様でセレンディピティーなコンテンツの長い大半を犠牲にして、よく見積もられた埋め込みを持つ人気ヘッドアイテムの少数派に対して、体系的に偏りがある検索パイプラインである。
本稿では,DINOSAUR(Distributional Approximate Nearest Neighbour Search for Uncertainty-Aware Retrieval)を提案する。
DINOSAURは、ポイント推定をインデックスする代わりに、アイテムごとに$S_i$の埋め込みをサンプリングし、この拡張セットにインデックスを構築する。
アナロジー的には、クエリ時にユーザ埋め込みがサンプリングされる。
この両面の確率的検索プロセスは、モデルアーキテクチャやANNインデックスインフラストラクチャの変更を必要とせず、不確実性を暗黙的に排除する。
解析的な側面から,DINOSAURは不確実性から標準点推定検索を回復し,埋込分散の増加が不確実なアイテムを検索可能な潜伏空間の領域をいかに拡大するかを特徴付ける。
再現可能な経験的観察はこれらの期待と一致し、オフラインリコールにおいてわずかな損失を伴う大きなカバレッジ向上を示す。
関連論文リスト
- FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。
レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。
我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
論文 参考訳(メタデータ) (2026-04-14T17:04:25Z) - Rethinking Deep Research from the Perspective of Web Content Distribution Matching [86.90255285277256]
WeDasは,検索空間の構造的特徴をエージェントの観察空間に組み込んだWebコンテンツ配信アウェアフレームワークである。
本稿では,Query-Result Alignment Scoreを反復的に推定する数ショットの探索機構を提案する。
プラグイン・アンド・プレイモジュールとして、WeDasは4つのベンチマークのサブゴール補完と精度を一貫して改善している。
論文 参考訳(メタデータ) (2026-03-07T14:51:17Z) - With Argus Eyes: Assessing Retrieval Gaps via Uncertainty Scoring to Detect and Remedy Retrieval Blind Spots [10.538640148641532]
ニューラル検索には盲点があることを示し、クエリに関連するエンティティを検索できないが、クエリの埋め込みと類似性は低いと定義している。
我々は,このような盲点物質を埋め込み空間の到達不能な部分にマッピングする訓練によって引き起こされるバイアスについて検討した。
本稿では,高リスク(低RPS)エンティティの検索を可能にするパイプラインであるARGUSを紹介する。
論文 参考訳(メタデータ) (2026-02-10T10:04:55Z) - Reveal Hidden Pitfalls and Navigate Next Generation of Vector Similarity Search from Task-Centric Views [24.456069497637035]
高次元空間におけるベクトル類似度探索(VSS)は,次世代データベースシステムにおけるコア機能として急速に発展しつつある。
最近のベンチマークでは、主に距離メトリクスのみによって定義された基本真実に対するリコールレイテンシトレードオフに基づいてVSSを評価している。
我々は、現実的なアプリケーションコンテキストにおけるVSSメソッドのエンドツーエンド評価のための総合ベンチマークスイートであるIcebergを紹介する。
論文 参考訳(メタデータ) (2025-12-15T04:49:33Z) - Robust Nearest Neighbour Retrieval Using Targeted Manifold Manipulation [0.0]
最近傍の検索は、分類と説明可能なAIパイプラインの中心である。
特徴多様体の指定された領域に各サンプルをどの程度容易に適用できるかを評価することによって,検索を再現するTMM-NNを提案する。
TMM-NNは軽量でクエリ固有のトリガパッチを通じてこれを実装している。
論文 参考訳(メタデータ) (2025-11-09T07:37:05Z) - Exploring $\ell_0$ Sparsification for Inference-free Sparse Retrievers [4.682757367266358]
既存のスパース検索モデルは、スパース化のためのFLOPS正規化に依存している。
FLOPSを推論のないシナリオに適用しようとする以前の試みは、ルールベースの手法に限られていた。
提案手法は推論不要なスパース検索モデル間の最先端性能を実現する。
論文 参考訳(メタデータ) (2025-04-21T03:40:43Z) - Operational Advice for Dense and Sparse Retrievers: HNSW, Flat, or Inverted Indexes? [62.57689536630933]
本稿では,オープンソースのLucene検索ライブラリを用いたBEIRデータセットの実験結果について述べる。
本研究は,高密度かつ疎密なレトリバーの設計空間を理解するための,今日の検索実践者へのガイダンスを提供する。
論文 参考訳(メタデータ) (2024-09-10T12:46:23Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳(メタデータ) (2022-09-22T04:32:51Z) - BR-NS: an Archive-less Approach to Novelty Search [70.13948372218849]
行動認識に基づく新規性探索(BR-NS)という,新規性推定の代替手法について議論する。
BR-NSはアーカイブを必要とせず、行動空間で定義できるメトリクスを前提にせず、近隣の検索に依存しません。
我々は、その実現可能性とダイナミクス、および時間複雑性の観点からアーカイブベースのnsよりも潜在的に有利な点について洞察を得るために実験を行う。
論文 参考訳(メタデータ) (2021-04-08T17:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。