論文の概要: Octen-WebGR: Scaling Generative Retrieval to 200 Million Web Pages

• arxiv url: http://arxiv.org/abs/2610.35256v1
• Date: Mon, 26 Oct 2026 11:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.84479
• Title: Octen-WebGR: Scaling Generative Retrieval to 200 Million Web Pages
• Title（参考訳）: Octen-WebGR: 生成検索を2億ページに拡張
• Abstract要約: Octen-WebGRは、Webページを言語モデルのパラメータに格納する生成的検索フレームワークである。 我々は,2100万のWebページをインデクシングするOcten-WebGR-4Bを開発し,訓練後1ヶ月から実際のナビゲーショントラフィックを評価する。
• 参考スコア（独自算出の注目度）: 11.874837076005761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Navigational search aims to find a single target page among hundreds of millions of web pages. Click tables work well for queries seen before but cannot generalise to new formulations, while embedding retrievers generalise across content but often rank navigational targets poorly. We introduce Octen-WebGR, a generative retrieval framework that stores web pages in the parameters of a language model: given a query, the model generates a two-token semantic identifier constrained to a table of real URLs. We develop Octen-WebGR-4B, which indexes 201 million web pages, and evaluate it on real navigational traffic from the month after training. Generative retrieval is most effective on new ways of asking for familiar pages: for unseen queries targeting pages with substantial interaction history, it ranks the correct page first 30.9% of the time, against 17.2% for a dense retriever trained on the same clicks (21.4% with a click prior). Embedding retrieval keeps an advantage on rarely visited pages, so the two approaches generalise on complementary sides, the query and the page. Over all navigational traffic, Octen-WebGR reaches 59.6% top-1 accuracy, against 46.5% for a click-enhanced dense retriever and up to 37.5% for frontier LLMs answering from memory, which cost at least 40 times as much per query. The 4B model runs on a single GPU with 10 GB of memory, compared with 412 GB for exact dense retrieval. Scaling experiments with up to 32 million URLs show that, when every query-page pair is seen equally often, the model size needed grows sublinearly with index size, and that retrieval is constrained more by page exposure than by model capacity. We release Octen-WebGR-4B and Octen-WebGR-0.6B with their identifier tables and inference code.
• Abstract（参考訳）: ナビゲーション検索は、数億のWebページの中から1つのターゲットページを見つけることを目的としている。 クリックテーブルは、以前見たクエリではうまく機能するが、新しい定式化に一般化することはできない。 我々は,Webページを言語モデルのパラメータに格納する生成的検索フレームワークであるOcten-WebGRを紹介した。 我々は,2100万のWebページをインデクシングするOcten-WebGR-4Bを開発し,訓練後1ヶ月から実際のナビゲーショントラフィックを評価する。 ジェネレーティブ検索は、慣れ親しんだページを検索する新しい方法に最も効果的である: かなりのインタラクション履歴を持つページをターゲットにした未確認クエリの場合、そのページを30.9%、同じクリックで訓練された密集した検索者(21.4%、クリック前のクリック)に対して17.2%にランク付けする。 埋め込み検索は、めったに訪れないページに対して有利であり、この2つのアプローチは、補完的な側面であるクエリとページを一般化する。 全てのナビゲーショントラフィックにおいて、Octen-WebGRは59.6%の精度に達し、クリック強化された高密度検索では46.5%、メモリから応答するフロンティアLSMでは37.5%に達し、クエリの40倍のコストがかかる。 4Bモデルは10GBのメモリを持つ1つのGPUで動作する。 最大3200万のURLで実験をスケールすると、クエリとページのペアが同じ頻度で表示されると、必要となるモデルのサイズはインデックスサイズに比例して増加し、検索はモデルキャパシティよりもページ露出によって制限される。 我々は識別子テーブルと推論コードを備えたOcten-WebGR-4BとOcten-WebGR-0.6Bをリリースする。

関連論文リスト

• Cascaded Retrieval with Cross-Modal Query Refinement for Efficient Visual Document Search [54.48124421246385]
  現在の視覚言語レトリバーは、コーパスサイズとともに成長し、スケールすることができないクエリ時間コストを発生させる。 本稿では,検索性能を徹底検索から分離する2トラック検索フレームワークSCOUTを提案する。 SCOUTを4つの主要なベンチマークで評価し、最高のベースラインに対して80.7倍(平均28.8倍)のクエリ時間遅延改善を観測した。
  論文  参考訳（メタデータ） (2026-10-14T15:40:27Z)
• Locate, Judge, Read: Role-Specialized Tool Agents over a Knowledge-Point Index for Open-Domain Multimodal Document QA [0.0]
  KnowForgeは、検索のみが可能なハイブリッド検索のナレッジポイントインデックスとロケータエージェントである。 Deep Readerエージェントはテキスト、画像、テーブルのみを読み取ります。 KnowForgeは完全なオープンドメインM3DocVQAでF1 47.5に達する。
  論文  参考訳（メタデータ） (2026-10-09T07:21:36Z)
• Hierarchical BM25: Lexical Search at Billion-Document Scale [0.9991706230252708]
  BM25指数は10億以上の文書が約400GBを占めている。 したがって、このスケールでの正確なトップk語彙検索は、対話的なレイテンシー予算の中では現実的ではない。 ウォームドキャッシュは1秒あたり32クエリを持続するが、フラットインデックスは3以下である。
  論文  参考訳（メタデータ） (2026-07-31T19:18:37Z)
• Argus-Retriever: Vision-LLM Late-Interaction Retrieval with Region-Aware Query-Conditioned MoE for Visual Document Retrieval [21.24115784579366]
  textbfArgusはQwen3.5-VL上に構築されたクエリ条件の遅延インタラクションレトリバーのファミリーである。 textbf9B モデルは ViDoRe V1 で textbf92.67 NDCG@5 に到達し、V1+V2 のリーダーボードで textbf86.0 NDCG@5 に到達した。
  論文  参考訳（メタデータ） (2026-06-03T00:08:44Z)
• Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval [0.0]
  ドキュメント中心のRAGパイプラインは通常、OCRから始まり、次にチャンキング、テーブル解析、レイアウト再構築のための脆さが続く。 我々は,OCRフリーかつモデル非依存なマルチモーダル検索システムであるVisionRAGを紹介する。 VisionRAGは、ドキュメントを直接イメージとしてインデックスし、レイアウト、テーブル、空間的なキューを保存し、特定の抽出にコミットすることなくセマンティックベクターを構築する。
  論文  参考訳（メタデータ） (2025-11-26T07:18:06Z)
• MoLoRAG: Bootstrapping Document Understanding via Multi-modal Logic-aware Retrieval [17.50612953979537]
  MoLoRAGはマルチモーダル・マルチページ文書理解のための論理認識検索フレームワークである。 意味論と論理的関連性を組み合わせて、より正確な検索を提供する。 4つのDocQAデータセットの実験では、平均的な9.68%の精度の向上が示されている。
  論文  参考訳（メタデータ） (2025-09-06T00:59:28Z)
• Go-Browse: Training Web Agents with Structured Exploration [49.19468732253614]
  本稿では,多彩で現実的なWebエージェントデータを大規模に収集する手法であるGo-Browseを提案する。 Go-Browseはグラフ検索としてデータ収集をフレーミングすることで効率的な探索を実現する。 提案手法をWebArenaベンチマーク上でインスタンス化し,100URLにわたる10Kのタスク解決トラジェクトリと40Kのインタラクションステップのデータセットを収集する。
  論文  参考訳（メタデータ） (2025-06-04T03:27:56Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。