論文の概要: Hierarchical BM25: Lexical Search at Billion-Document Scale
- arxiv url: http://arxiv.org/abs/2608.00229v1
- Date: Fri, 31 Jul 2026 19:18:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 15:16:22.429426
- Title: Hierarchical BM25: Lexical Search at Billion-Document Scale
- Title（参考訳）: 階層型BM25:数十億文書規模の語彙検索
- Authors: Umesh Deshpande, Swaminathan Sundararaman,
- Abstract要約: BM25指数は10億以上の文書が約400GBを占めている。
したがって、このスケールでの正確なトップk語彙検索は、対話的なレイテンシー予算の中では現実的ではない。
ウォームドキャッシュは1秒あたり32クエリを持続するが、フラットインデックスは3以下である。
- 参考スコア（独自算出の注目度）: 0.9991706230252708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A flat BM25 index over one billion documents occupies about 400 GB. Holding it in memory requires DRAM proportional to corpus size. Serving it from disk takes 4-12 seconds per query. Exact top-k lexical retrieval at this scale is therefore impractical within an interactive latency budget. Hierarchical BM25 gives up exact ranking in exchange for fixed bounds on memory and latency. A resident coarse index selects which of ~1K topical, size-balanced document groups a query visits, using two signals: the total frequency of each query term within a group, and, for informative terms spread too thinly across groups for frequency totals to reflect, whether several of them appear together in one document. Selected groups are then searched exhaustively and scored against ~100 KB of global statistics. Every returned score therefore equals the flat index's score, and the approximation is confined to selection alone. The resident footprint is ~4.4 GB, independent of corpus size. Sixteen-term queries over one billion documents return in ~300 ms (4.7x to 5.6x the throughput of a flat multi-threaded index), and a warmed cache sustains ~32 queries per second versus under 3 for flat indexing. At a 500K-document configuration, visiting 5-10% of clusters recovers 0.83-0.92 of the exhaustive result score. Billion-scale recall and a direct comparison against document-reordered BlockMax-WAND remain open.
- Abstract（参考訳）: BM25指数は10億以上の文書が約400GBを占めている。
メモリに保持するには、コーパスサイズに比例するDRAMが必要である。
ディスクから実行するにはクエリ毎に4～12秒かかる。
したがって、このスケールでの正確なトップk語彙検索は、対話的なレイテンシー予算の中では現実的ではない。
階層型BM25は、メモリとレイテンシの固定境界と引き換えに正確なランキングを付与する。
常駐粗いインデックスは、グループ内の各問合せ項の総頻度と、複数の問合せが1つの文書に一緒に現れるかどうかの2つの信号を用いて、各問合せ項のどれか1Kのトピックを問合せする文書群を選択する。
選択されたグループは徹底的に探索され、世界統計の約100KBに対して得点される。
したがって、返却されたスコアはフラットインデックスのスコアと等しく、近似は選択のみに限られる。
居住面積は ~4.4 GB であり、コーパスサイズとは無関係である。
10億を超える16のクエリは、300ミリ秒(フラットなマルチスレッドインデックスのスループットの4.7倍から5.6倍)で返される。
500Kドキュメント構成では、クラスタの5-10%を訪問すると、総結果スコアの0.83-0.92が回復する。
数十億ドル規模のリコールとドキュメントリオーダのBlockMax-WANDとの直接比較は未解決のままである。
関連論文リスト
- PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention [19.844672835223676]
生産システムにおいてDeepSeek S Attention(DSA)によって実装されたトークンレベルのスパースアテンションは、下流のアテンションを効率良くするが、ボトルネックをインデクサにシフトさせる。
PIVOT, Proxy Indexing Via One full-parse Traversal, トレーニング不要でDSAインデクサのドロップイン置換を行う。
DeepSeek-V3.2 と GLM-5.1 では、LongBench と RULER で、PIVOT は密度の高い DSA インデクサの精度にマッチし、最大 4 倍の速度で加速し、エンドツーエンドのレイテンシを減少させる。
論文 参考訳（メタデータ） (2026-07-27T15:58:07Z) - Novelty-Aware Agentic Retrieval: Comparing Research Contributions Through Structured Multi-Step Reasoning [0.0]
ノベルティ・アウェア・リサーチ・エージェント(英: Novelty-Aware Research Agent)は、エージェント検索システムのプロトタイプである。
RAGパイプライン上の多段階推論を6つのタイプドコントラクトコンポーネントを通じて階層化する。
論文毎のコントリビューション記録、紙レベルのオーバーラップ、問題xメソッドギャップマトリックスなど、構造化された比較アーティファクトを生成する。
論文 参考訳（メタデータ） (2026-06-20T17:04:02Z) - MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning [6.180594609315986]
MemoryDocDataSetは、50マイクロワールドと1000QAペアの総合ベンチマークである。
それぞれのインスタンスは、3～5のペルソナ、数ヶ月のアクティビティにまたがる一時的なイベントグラフ、3～5の実際の長いドキュメント、それらのドキュメントに基づくマルチセッションの会話で構成されている。
定義されている特徴は、ハイブリッドソースタグである: システムが最初に会話履歴をナビゲートし、どのドキュメントが関連しているかを特定し、そのドキュメントから回答を抽出する。
論文 参考訳（メタデータ） (2026-06-03T04:44:50Z) - AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory [1.8479558716666358]
Luceneクラスのエンジンはインデックスを静的として扱い、クエリをステートレスとして扱う。
カスケードルータはBM25のトップクマージンのみから決定され、再トレーニングせずにワークロードをまたがって再チューニングされる。
共有8コアVMのキャパシティは154から1,400のコンカレントエージェント(9倍)に向上する
論文 参考訳（メタデータ） (2026-05-24T14:14:13Z) - Contexts are Never Long Enough: Structured Reasoning for Scalable Question Answering over Long Document Sets [7.102370558887478]
本稿では,長い文書コレクションに対する質問応答のためのフレームワークであるSLIDERSについて,構造化された推論を通して紹介する。
SLIDERSは、有能な情報をリレーショナルデータベースに抽出し、永続的な構造化状態に対するスケーラブルな推論を可能にする。
既存の3つのロングコンテキストベンチマークにおいて、すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2026-04-24T07:16:44Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳（メタデータ） (2026-02-24T18:57:33Z) - Infini-gram mini: Exact n-gram Search at the Internet Scale with FM-Index [110.90283601829724]
ペタバイトレベルのテキストコーパスを検索可能にするシステムであるinfini-gram miniを提案する。
FMインデックスデータ構造に基づいて,本システムはコーパスの44%の大きさのインデックスを生成する。
ベンチマーク汚染の大規模解析において重要なユースケースが1つある。
論文 参考訳（メタデータ） (2025-06-13T21:13:57Z) - BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。
私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
論文 参考訳（メタデータ） (2024-07-16T17:58:27Z) - The Case for Learned Spatial Indexes [62.88514422115702]
我々は、空間範囲の問合せに答えるために、最先端の学習した多次元インデックス構造(すなわちFlood)から提案した手法を用いる。
i) パーティション内の機械学習検索は、1次元でフィルタリングを使用する場合の2進探索よりも11.79%速く、39.51%高速であることを示す。
また、2次元でフィルタする最も近い競合相手の1.23倍から1.83倍の速さで機械学習インデックスを精査する。
論文 参考訳（メタデータ） (2020-08-24T12:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。