論文の概要: Spruce: Scalable Private Outsourced Retrieval Using Compact Embeddings

• arxiv url: http://arxiv.org/abs/2609.03376v1
• Date: Thu, 03 Sep 2026 05:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.929475
• Title: Spruce: Scalable Private Outsourced Retrieval Using Compact Embeddings
• Title（参考訳）: Spruce: コンパクトな埋め込みを使ったスケーラブルなプライベートアウトソース検索
• Authors: Peichun Hua, Yunming Xiao,
• Abstract要約: Spruceは、完全精度の再ランクの候補を保存するためのコンパクトなバイナリコードを学ぶ。 スプルースは元の検索品質を382--1,952の中央値の候補セットで保存する。 プライベートプルーニングは0.06--1.09秒、13.1$-22.9times$ Speedups、93.9%$--97.3%$フルフロートNDCGを維持している。
• 参考スコア（独自算出の注目度）: 0.4859781642217615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has made dense retrieval over large document collections a standard building block. Organizations increasingly outsource vector indexes to untrusted clouds, exposing proprietary corpora and user queries. Cryptographic protection is challenging because each query searches corpus-scale state, causing computation, correlated randomness, and communication to grow with the corpus. At million-document scale, a naive secure implementation takes minutes and about 90 GB of communication per query. Even recent optimized systems require 10--22 seconds. We propose Spruce (Scalable Private Outsourced Retrieval Using Compact Embeddings), which co-designs representations with the cryptographic protocol. Spruce learns compact binary codes that preserve candidates for full-precision reranking, replacing corpus-wide embedding scoring with efficient Hamming-distance computation under two-server multi-party computation (MPC). A corpus-calibrated fixed-radius protocol avoids multi-round candidate selection while preserving retrieval quality. Spruce also provides private cluster pruning, which trades minor quality loss for substantially less computation, and a one-core owner-operated dealer that removes cloud OT preprocessing bottlenecks. Across four corpora containing 383K--5.42M documents, Spruce preserves the original search quality with median candidate sets of only 382--1,952. At 10 Gbps inter-server bandwidth, full scans take 0.21--2.97 seconds, $4.8$--$6.7\times$ faster than the closest measured prior work. Private pruning takes 0.06--1.09 seconds, achieves $13.1$--$22.9\times$ speedups, and retains $93.9\%$--$97.3\%$ of full-float NDCG. On the largest corpus, pruning and the dealer jointly improve sustained throughput by $31.5\times$ at 1 Gbps per link.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、大規模な文書コレクションを標準のビルディングブロックとして高密度に検索する。 組織はますます、信頼できないクラウドにベクトルインデックスをアウトソースし、プロプライエタリなコーポラとユーザクエリを公開する。 各クエリーはコーパススケールの状態を検索し、計算、相関ランダム性、およびコーパスとの通信を増大させるため、暗号化保護は困難である。 数百万のドキュメントスケールで、単純でセキュアな実装では、クエリ毎に約90GBの通信が数分かかる。 最近の最適化システムでも10-22秒を要する。 本稿では,表現を暗号プロトコルと協調設計する Spruce (Scalable Private Outsourced Retrieval Using Compact Embeddings) を提案する。 Spruceは、コーパス全体の埋め込みスコアを、2サーバマルチパーティ計算(MPC)の下で効率の良いハミング距離計算に置き換え、完全精度の再ランクの候補を保存するためのコンパクトなバイナリコードを学ぶ。 コーパス校正固定ラディウスプロトコルは、検索品質を維持しつつ、複数ラウンドの候補選択を回避する。 また、Spruceはプライベートクラスタのプルーニングも提供しており、小さな品質損失を極めて少ない計算で処理すると同時に、クラウドOT前処理ボトルネックを取り除くワンコアのオーナオペレーティングディーラーも提供する。 383K--5.42Mドキュメントを含む4つのコーパスで、Spruceは382--1,952の中央値の候補セットで元の検索品質を保っている。 サーバ間の帯域幅は10Gbpsで、フルスキャンは0.21--2.97秒、$4.8$-$6.7\times$が最高速である。 プライベートプルーニングは0.06--1.09秒、13.1$-22.9\times$ speedups、93.9\%$--97.3\%$のフルフロートNDCGを保持する。 最大のコーパスでは、プルーニングとディーラーは、持続的なスループットをリンク当たり1Gbpsで31.5\times$で改善する。

関連論文リスト

• Pointing the Way, Hiding the Destination: Practical Private Dense Retrieval at Scale [19.48684574323907]
  ホストされた検索強化世代(RAG)とセマンティックサーチにより、ユーザは価値あるプロバイダが所有するコーパスをクエリできる。 既存の暗号化アプローチでは、クエリ毎にコーパス全体を処理することでコストがかかります。 このショートリストは、検索品質を犠牲にすることなく全コーパス暗号検索を行う。
  論文  参考訳（メタデータ） (2026-08-26T12:46:36Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• Practical Code RAG at Scale: Task-Aware Retrieval Design Choices under Compute Budgets [1.933829683108616]
  本研究では,現実的な計算予算下でのコード中心生成タスクの検索設計について検討する。 我々は, (i) チャンキング戦略, (ii) 類似度スコア, (iii) 粒度を分割する3つの軸に沿って, 様々なコンテキストウィンドウサイズにわたる検索構成を比較した。
  論文  参考訳（メタデータ） (2025-10-23T14:40:11Z)
• Hierarchical Patch Compression for ColPali: Efficient Multi-Vector Document Retrieval with Dynamic Pruning and Quantization [0.0]
  ColPaliのようなマルチベクトル文書検索システムは、複雑なクエリのきめ細かいマッチングが優れているが、かなりのストレージと計算コストがかかる。 検索精度を保ちながらColPaliの効率を向上する,きめ細かいパッチ圧縮フレームワークであるHPC-ColPaliを提案する。 提案手法は,(1)1バイトのセントロイドインデックスにパッチ埋め込みを圧縮し,最大32$times$ストレージ削減を実現するK平均量子化,(2)Vision-Language Modelアテンション重みを利用した注意誘導動的プルーニングの3つの革新的手法を統合する。
  論文  参考訳（メタデータ） (2025-06-19T08:45:52Z)
• SecONNds: Secure Outsourced Neural Network Inference on ImageNet [0.0]
  我々は、大規模な画像ネットワーク規模の畳み込みニューラルネットワークに最適化された、侵入的でないセキュアな推論フレームワークSecONNdsを紹介する。 我々の新しいプロトコルは、最先端のソリューションと比較して、非線形操作で17$times$のオンライン高速化を実現している。 SecONNds-Pも提案する。これはビットエクサクサプリタで、検証された完全精度を保証し、セキュアな計算を行う。
  論文  参考訳（メタデータ） (2025-06-13T08:49:39Z)
• RemoteRAG: A Privacy-Preserving LLM Cloud RAG Service [10.383191657228826]
  ユーザクエリを保護するために、プライバシ保護クラウドRAGサービスを正式に定義したのは、当社が初めてです。 プライバシに関しては、ユーザクエリのプライバシリークと関連するドキュメントからのリークを特徴付けるために、$(n,epsilon)$-DistanceDPを導入します。 効率を上げるために、全文書から、$(n,epsilon)$-DistanceDPから生成される摂動埋め込みに関連する少数の選択された文書まで、検索範囲を限定する。
  論文  参考訳（メタデータ） (2024-12-17T10:36:52Z)
• Estimating the Decoding Failure Rate of Binary Regular Codes Using Iterative Decoding [84.0257274213152]
  並列ビットフリップデコーダのDFRを高精度に推定する手法を提案する。 本研究は,本症候群のモデル化およびシミュレーションによる重み比較,第1イテレーション終了時の誤りビット分布の誤検出,復号化復号化率(DFR)について検証した。
  論文  参考訳（メタデータ） (2024-01-30T11:40:24Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Sparse R-CNN: End-to-End Object Detection with Learnable Proposals [77.9701193170127]
  Sparse R-CNNは、画像中の物体検出のための純粋にスパースな方法である。 最終的な予測は、最大でない処理後抑制なしで直接出力される。 われわれの研究が、物体検知器に先立って密集した慣例を再考することを願っている。
  論文  参考訳（メタデータ） (2020-11-25T00:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。