論文の概要: Atlas: Efficient Verifiable Semantic Search
- arxiv url: http://arxiv.org/abs/2609.11841v1
- Date: Thu, 10 Sep 2026 17:30:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.455975
- Title: Atlas: Efficient Verifiable Semantic Search
- Title(参考訳): Atlas: 効率的な検証可能なセマンティック検索
- Abstract要約: 私たちはAtlasを紹介します。Atlasは、プロバイダがインデックスを公開せずに、そのコミットインデックスに対して正しく回答したことを証明できるシステムです。
その中核は、3つの技術に基づいて構築されたHNSW検索のための新しいゼロ知識証明である。
Atlasは、検証可能なグラフベースの大規模検索を初めて実証した。
- 参考スコア(独自算出の注目度): 42.56979915155187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic search is a core primitive of modern applications, powering recommender systems, web search, and retrieval-augmented generation for language models. The provider controls the index and query execution, leaving clients to trust that results come from the right algorithm over the intended index. A provider may truncate search to cut cost, bias results, or otherwise deviate from the specified execution undetected. Verifiability can remove this trust assumption by proving that results follow the agreed algorithm over a committed index. Realizing this efficiently is hard, as retrieval at scale relies on HNSW, a graph-based algorithm whose data-dependent traversal maps poorly onto the fixed constraint systems of zero-knowledge proofs. Prior verifiable systems therefore target regular, cluster-based indices that are easier to encode, sacrificing the recall of graph-based search. We present Atlas, a system that lets a provider prove a query was answered correctly against its committed index without revealing the index. At its core is a new zero-knowledge proof for HNSW search, built on three techniques: preprocessing that shifts all database-dependent cost offline, so per-query proving scales with the traversal rather than the database; a restructuring of HNSW into a fixed-size-state procedure that we prove returns the same result; and a timestep-tagged batching that merges the per-step arguments of the entire traversal into one. Atlas is the first to demonstrate verifiable graph-based search at scale, proving a query in under a second on the SIFT1M benchmark and in 2.0 seconds at 100 million vectors, while maintaining the recall of plaintext HNSW and revealing nothing about the index beyond the result. In a complete RAG pipeline, Atlas' proven retrieval preserves end-to-end answer quality, and reaches higher quality at lower proving cost than all prior verifiable retrieval systems.
- Abstract(参考訳): セマンティック検索は現代のアプリケーションの中核的なプリミティブであり、推薦システム、Webサーチ、言語モデルのための検索拡張生成を動力としている。
プロバイダはインデックスとクエリの実行を制御し、クライアントは意図したインデックスに対して正しいアルゴリズムから結果が得られたことを信頼する。
プロバイダは、コスト削減やバイアス結果の削減、あるいは検出されていない特定の実行から逸脱するために検索を切断する。
検証可能性(Verifiability)は、合意されたアルゴリズムに従う結果がコミットされたインデックスに従うことを証明することによって、この信頼前提を除去することができる。
大規模な検索は、ゼロ知識証明の固定制約系にデータ依存トラバーサルが不十分なグラフベースのアルゴリズムであるHNSWに依存するため、これを効率的に実現することは難しい。
したがって、事前検証システムは、より容易にエンコードできる正規のクラスタベースのインデックスをターゲットにしており、グラフベースの検索のリコールを犠牲にする。
私たちはAtlasを紹介します。Atlasは、プロバイダがインデックスを公開せずに、そのコミットインデックスに対して正しく回答したことを証明できるシステムです。
データベース依存のコストをオフラインにシフトする前処理、すなわちクエリごとのスケールをデータベースではなくトラバーサルで証明する前処理、HNSWを同じ結果を返す固定サイズの状態のプロシージャに再構成する処理、全トラバーサルのステップ毎の引数をマージするタイムステップタグ付きバッチ処理である。
Atlasは、SIFT1Mベンチマークで1秒未満のクエリと1億ベクトルでの2.0秒のクエリを証明し、プレーンテキストのHNSWのリコールを維持しながら、結果以上のインデックスについて何も明らかにしていない、検証可能なグラフベースの検索を、初めて実証した。
完全なRAGパイプラインにおいて、Atlasの証明された検索は、エンドツーエンドの応答品質を保ち、以前の検証可能な全ての検索システムよりも低い証明コストでより高い品質に達する。
関連論文リスト
- Pre-retrieval Query Clustering for Adaptive Top-k Document Retrieval in RAG Systems [7.440012812118169]
RAGシステムは通常、固定数の文書を基底生成に検索する。
単純なクエリは過剰検索(ノイズとコストを追加する)に悩まされ、複雑なクエリは未検索である。
本稿では,クエリ適応検索のための実用的,汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-11T19:57:12Z) - SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs [30.494397052362384]
本稿では,検索トラジェクトリを構造化グラフに変換するフレームワークであるSearchAtlasを紹介する。
我々の自動解析パイプラインは、人間の注釈付きグラフに対して86.4%の平均エッジF1を達成する。
我々は3つのベンチマークで5つの検索エージェントを分析し、検索尺度とエビデンスアグリゲーションの体系的な違いを明らかにした。
論文 参考訳(メタデータ) (2026-09-09T23:09:26Z) - Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。
このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。
IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
論文 参考訳(メタデータ) (2026-05-03T19:13:11Z) - HaS: Accelerating RAG through Homology-Aware Speculative Retrieval [9.230969223605602]
知識データベースのサイズが大きくなるにつれて、検索は時間がかかります。
ホモロジーを意識した投機的検索フレームワークHaSを提案する。
HaSは、現実世界の人気パターン下でのクエリの頻度から恩恵を受け、かなりの効率向上を達成する。
論文 参考訳(メタデータ) (2026-04-22T11:15:54Z) - Rethinking ANN-based Retrieval: Multifaceted Learnable Index for Large-scale Recommendation System [46.70111672855811]
MultiFaceted Learnable Index (MFLI)は、マルチフェイスアイテムの埋め込みとインデックスを統一されたフレームワーク内で学習するスケーラブルでリアルタイムな検索パラダイムである。
MFLIは、エンゲージメントタスクのリコールを最大11.8%改善し、コールドコンテントデリバリを最大57.29%改善し、セマンティック関連性を従来の最先端手法と比較して13.5%改善した。
論文 参考訳(メタデータ) (2026-02-18T01:31:29Z) - Progressive Searching for Retrieval in RAG [1.1912082737504726]
Retrieval Augmented Generation (RAG)は、大規模言語モデル(LLM)の2つの重要な制限を緩和するための有望な技術である。
本稿では,コスト効率の高い検索アルゴリズムを提案する。
以上の結果から,RAGシステムにおける逐次探索は次元,速度,精度のバランスを保ち,大規模データベースにおいてもスケーラブルで高速な検索が可能であることが示唆された。
論文 参考訳(メタデータ) (2026-02-07T01:12:53Z) - TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。
報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文 参考訳(メタデータ) (2025-11-07T16:08:34Z) - Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。
SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
論文 参考訳(メタデータ) (2024-05-03T08:34:13Z) - Lexically-Accelerated Dense Retrieval [29.327878974130055]
LADR (Lexically-Accelerated Dense Retrieval) は, 既存の高密度検索モデルの効率を向上する, 簡便な手法である。
LADRは、標準ベンチマークでの徹底的な検索と同等の精度とリコールの両方を一貫して達成する。
論文 参考訳(メタデータ) (2023-07-31T15:44:26Z) - How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
各種コーパス尺度における生成的検索手法の実証的研究を行った。
我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。
生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
論文 参考訳(メタデータ) (2023-05-19T17:33:38Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。