論文の概要: Join Indices for Search Engines: a Prunable Parallel Semijoin over Lucene Segments
- arxiv url: http://arxiv.org/abs/2608.01173v1
- Date: Sun, 02 Aug 2026 11:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.109458
- Title: Join Indices for Search Engines: a Prunable Parallel Semijoin over Lucene Segments
- Title（参考訳）: 検索エンジンの結合指標:ルーセンセグメンツ上のプルナブル並列セミジョイント
- Abstract要約: 我々はリレーショナルシステムから Lucene のフラッシュベースセグメントストレージまで, Valduriez の結合インデックス技術を実装した。
親と子セグメントのペアごとに、追加のみの、順序から順序への結合-インデックス列 J[c]=p を具体化します。
10万個のskusに対して100万個の製品にベンチマークされたプロトタイプクエリは、Solrのビルトインクエリタイム結合に対するレイテンシを5.4倍(359.8ms vs. 1934.6ms)削減した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joins are second-class citizens in search engines: existing query-time join implementations in Lucene are limited either in performance or in capability, forcing a choice between fast joins scoped to a single index and slower joins that span independently managed indices. We carry Valduriez's join-index technique from relational systems to Lucene's flush-based (LSM-style) segment storage: for every pair of a parent and a child segment we materialize an append-only, ordinal-to-ordinal join-index column J[c]=p, avoiding any query-time translation of external variable-length keys. On top of this structure we build a semijoin algorithm that is computed per parent segment, in parallel, without a global barrier between stages; it prunes at three levels (segment-level, the first of which comes free from per-segment execution; a-priori min/max; and document-level two-phase confirmation with a lazily accumulated half-read union) so that it composes with arbitrary engine queries instead of wasting computation on matches that a sibling filter would later discard. A prototype implemented as an Apache Solr query parser, benchmarked on 1M products joined against 10M skus, cuts average query latency 5.4 times (359.8,ms vs. 1934.6,ms) relative to Solr's built-in query-time join, and the advantage widens monotonically with load, reaching 8.3 times at a concurrency of eight: on 4 vCPUs the baseline peaks at 1.18 queries/s and then loses throughput, while the join index is still gaining, at 8.04 - 6.8times the baseline's best.
- Abstract（参考訳）: Luceneの既存のクエリ時ジョイン実装は、パフォーマンスか能力のどちらかに制限されており、単一のインデックスにスコープされた高速ジョインと、独立して管理されたインデックスにまたがる遅いジョインを選択せざるを得ない。
我々は、リレーショナルシステムからLuceneのフラッシュベース(LSMスタイル)セグメントストレージまで、Valduriezのジョインデクス技術を採用しています。親と子セグメントのすべてのペアに対して、外部変数長キーのクエリ時変換を回避するために、追加のみの、順序付きジョインインデックスカラムJ[c]=pを実体化します。
この構造の上に、ステップ間の大域的障壁を伴わずに、並列に、親セグメント毎に計算される半結合アルゴリズムを構築します。3レベル(セグメンテーションレベル、最初のレベルはセグメンションごとの実行から解放される)でプルークし、a-priori min/max、文書レベルの2フェーズ確認を遅延的に蓄積されたハーフリードユニオンで行うことで、兄弟フィルタが後に破棄されるような計算を無駄にする代わりに、任意のエンジンクエリで構成します。
Apache Solrクエリパーサとして実装されたプロトタイプは、100万個の製品に10万個のskusと結合してベンチマークされ、Solrの組み込みクエリ時結合と比較して平均クエリレイテンシ5.4倍 (359.8,ms vs. 1934.6,ms) を削減した。
関連論文リスト
- PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention [19.844672835223676]
生産システムにおいてDeepSeek S Attention(DSA)によって実装されたトークンレベルのスパースアテンションは、下流のアテンションを効率良くするが、ボトルネックをインデクサにシフトさせる。
PIVOT, Proxy Indexing Via One full-parse Traversal, トレーニング不要でDSAインデクサのドロップイン置換を行う。
DeepSeek-V3.2 と GLM-5.1 では、LongBench と RULER で、PIVOT は密度の高い DSA インデクサの精度にマッチし、最大 4 倍の速度で加速し、エンドツーエンドのレイテンシを減少させる。
論文 参考訳（メタデータ） (2026-07-27T15:58:07Z) - SemJoin: Semantic Join Optimization [5.770286315818393]
意味結合は大きな言語モデル(LLM)で評価できるが、すべての述語を比較するにはO(M x N)の呼び出しが必要であり、スケールでコストを抑えることができる。
本稿では,下層のテーブルの実行戦略を一致させることで,意味結合を最適化するLLM型意思決定パイプラインを提案する。
論文 参考訳（メタデータ） (2026-06-28T17:57:10Z) - Rethinking RAG in Long Videos: What to Retrieve and How to Use It? [56.38819694781005]
V-RAGBenchは$langle$query, evidence chunk, answer$rangle$三重項のベンチマークで、検索と生成を忠実に分離した評価を可能にする。
また、CARVEは、コンフィグレーションにまたがって並列レトリバーを動作させ、チャンク毎に入賞構成を識別するためにチャンク適応リランクを用いる手法である。
論文 参考訳（メタデータ） (2026-06-11T10:05:49Z) - HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention [62.79085204939384]
HISA (Hierarchical Indexed Sparse Attention) は、平らなトークンスキャンから2段階の階層的な手順に検索パスを書き換える。
カーネルレベルのベンチマークでは、HISAは64Kコンテキストでの高速化を実現している。
論文 参考訳（メタデータ） (2026-03-30T13:59:51Z) - Exploring Multi-Table Retrieval Through Iterative Search [0.32665457005470494]
データレイクに対するオープンドメインの質問応答には、複数のテーブルから情報を検索して構成する必要がある。
MIP(Mixed-Integer Programming)のような厳密な最適化手法はコヒーレンスを保証する。
本稿では,マルチテーブル検索を反復探索プロセスとして捉え,拡張性,解釈可能性,柔軟性の面での利点を論じる。
論文 参考訳（メタデータ） (2025-11-17T14:31:33Z) - HyQE: Ranking Contexts with Hypothetical Query Embeddings [9.23634055123276]
検索拡張システムでは、検索したコンテキストをユーザクエリとの関連性に基づいて順序付けするために、コンテキストランキング技術が一般的に使用される。
大規模言語モデル(LLM)は、文脈のランク付けに使われてきた。
LLMの微調整を必要とせずに、埋め込み類似性とLLM機能を組み合わせたスケーラブルなランキングフレームワークを導入する。
論文 参考訳（メタデータ） (2024-10-20T03:15:01Z) - Optimizing LLM Queries in Relational Data Analytics Workloads [50.95919232839785]
バッチデータ分析は、Large Language Models(LLMs)の急成長するアプリケーションである
LLMは、分類、エンティティ抽出、翻訳などの幅広い自然言語タスクを、大規模なデータセット上で実行可能にする。
本稿では,LLMコールによるリレーショナルデータ解析処理のコストを大幅に削減できる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - JoinGym: An Efficient Query Optimization Environment for Reinforcement
Learning [58.71541261221863]
結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。
木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。
JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
論文 参考訳（メタデータ） (2023-07-21T17:00:06Z) - Improving Text-to-SQL Semantic Parsing with Fine-grained Query
Understanding [84.04706075621013]
トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。
我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
論文 参考訳（メタデータ） (2022-09-28T21:00:30Z) - Graphical Join: A New Physical Join Algorithm for RDBMSs [9.797488793708624]
GJのような結合アルゴリズムは、時間と空間において大きなパフォーマンス上の利点をもたらすことができることを示す。
インメモリ結合計算の結果、MonetDBやUmbraよりも64X、388X、6倍パフォーマンスが向上した。
論文 参考訳（メタデータ） (2022-06-21T14:29:07Z) - How to Query An Oracle? Efficient Strategies to Label Data [59.89900843097016]
機械学習におけるデータセットのラベル付けに専門家の託宣を照会する際の基本的な問題について考察する。
本稿では,サンプルをラベル付けするために,ラウンド・バイ・ラウンドでランダム化されたバッチアルゴリズムを提案し,クエリレートが$O(fracNk2)$であることを示す。
さらに,適応型グリージークエリ方式を提案し,三重項クエリを用いたサンプルあたり平均$approx 0.2N$クエリを実現する。
論文 参考訳（メタデータ） (2021-10-05T20:15:35Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳（メタデータ） (2020-08-24T12:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。