論文の概要: Hybrid GPU-CPU Retrieval for Personalized Search at Ultra-Large Scale
- arxiv url: http://arxiv.org/abs/2609.21281v1
- Date: Fri, 18 Sep 2026 03:47:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:16.8521
- Title: Hybrid GPU-CPU Retrieval for Personalized Search at Ultra-Large Scale
- Title（参考訳）: 超大規模パーソナライズされた検索のためのハイブリッドGPU-CPU検索
- Abstract要約: 本稿では,新しいモデルクラスではなく,オーケストレーションによってパラドックスを解消するハイブリッドGPU-CPU協調システムを提案する。
高深さのGPUパスは、10億のドキュメントの順序で、キュレートされたオンラインプールにプリランクされた検索とインタラクションを融合する。
レガシーCPUのみの構成に対するフルシステムA/Bテストは、モデルによる関連性と実体的エンゲージメントを改善します。
- 参考スコア（独自算出の注目度）: 18.261812605558223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding-based retrieval on user-generated content at the trillion-document scale exposes a sharp conflict between two production demands: deep, expressive personalization for queries with rich user intent, and broad coverage of a massive inventory under fixed latency and resource budgets. We characterize this as the personalization-scale paradox: hosting the full serving inventory in GPU memory is too resource intensive, while CPU compute cannot execute the same interaction-heavy model on the latency-critical path. We present a hybrid GPU-CPU co-serving system that resolves the paradox through orchestration rather than a new model class. A high-depth GPU pathway fuses retrieval and interaction pre-ranking over a curated online pool on the order of a billion documents, while a high-breadth CPU pathway searches an independently selected online inventory roughly twenty times larger with lightweight personalized scoring. Either or both pathways can run per request; candidates are deduplicated before shared downstream ranking. The system is deployed in production. A full-system A/B test against the legacy CPU-only configuration improves model-scored relevance and substantive engagement, while separate pathway experiments show positive value at their own deployment scopes. Retrieval logs show that the pathways contribute structurally distinct candidates, production serving measurements characterize their latency, and a matched capacity plan quantifies the economic rationale for assigning modeling depth to GPUs and inventory breadth to CPUs. Together, these results validate a practical, independently evolvable depth-breadth architecture for ultra-large-scale personalized search.
- Abstract（参考訳）: 1兆ドル規模のユーザ生成コンテンツに対する埋め込みベースの検索は、リッチなユーザ意図を持つクエリに対する深い表現力のあるパーソナライゼーションと、固定されたレイテンシとリソース予算の下での大規模なインベントリの広範なカバレッジという、2つの生産要求の激しい衝突を露呈する。
我々はこれをパーソナライズ-スケールのパラドックスとして特徴付けている。GPUメモリにフルサービスインベントリをホストするのはリソース集約的であり、CPU計算はレイテンシクリティカルパス上で同じインタラクション-重大モデルを実行することはできない。
本稿では,新しいモデルクラスではなく,オーケストレーションによってパラドックスを解消するハイブリッドGPU-CPU協調システムを提案する。
高深度GPUパスは、10億のドキュメントの順序でキュレートされたオンラインプールに事前設定された検索とインタラクションをフューズし、ハイブレッドスCPUパスは、軽量のパーソナライズされたスコアリングによって、独立して選択されたオンラインインベントリを約20倍の規模で検索する。
いずれの経路もリクエスト毎に実行可能であり、候補は下流ランキングを共有する前に重複する。
システムは本番環境に配備される。
レガシーCPUのみの構成に対するフルシステムA/Bテストは、モデルによる関連性と実体的関与を改善し、別々の経路実験は、自身のデプロイメント範囲で肯定的な価値を示す。
検索ログは、経路が構造的に異なる候補に寄与し、プロダクションサービス計測がレイテンシを特徴付けることを示し、マッチしたキャパシティプランは、モデリング深度をGPUに割り当て、幅をCPUにインベントリする経済的根拠を定量化する。
これらの結果は,超大規模パーソナライズされた検索のための実用的で独立に展開可能な深度ブレッドスアーキテクチャを検証した。
関連論文リスト
- ShardMeter: Sharded and Geo-Distributed Training Without the Guesswork [1.2506203539237277]
大規模なAIモデルのトレーニングは、シャード、マルチクラスタ、分散トレーニングを必要とする、単一のデータセンタを上回ることが多い。
我々は、トランスフォーマーベースのワークロードのエンドツーエンドランタイムを予測する軽量な分析パフォーマンスモデルであるShardMeterを紹介した。
論文 参考訳（メタデータ） (2026-08-24T21:27:55Z) - DASH: Fast Differentiable Architecture Search for Hybrid Attention in Minutes on a Single GPU [62.52524380866359]
DASHはハイブリットアテンションアーキテクチャ設計のための高速で微分可能な検索フレームワークである。
個別のレイヤワイド・アテンション・オペレーターを継続的アーキテクチャ・ロジットに配置する。
再利用可能な教師整列線形候補を作成し、モデルと演算子重みを凍結したアーキテクチャのみの探索を行う。
論文 参考訳（メタデータ） (2026-05-20T09:21:22Z) - GRAB-ANNS: High-Throughput Indexing and Hybrid Search via GPU-Native Bucketing [39.763467046232584]
動的ハイブリッド検索のためのGPUネイティブグラフインデックスであるGRAB-ANNSを提案する。
GRAB-ANNSは最新のCPUベースシステムよりも最大240.1倍高いクエリスループットと12.6倍高速なインデックス構築を実現する。
論文 参考訳（メタデータ） (2026-03-31T11:00:10Z) - GPU-Accelerated Algorithms for Graph Vector Search: Taxonomy, Empirical Study, and Research Directions [54.570944939061555]
本稿では,GPU加速グラフに基づくベクトル探索アルゴリズムについて包括的に研究する。
我々は、GPU最適化戦略の詳細な分類を確立し、アルゴリズムタスクとハードウェア実行ユニット間のマッピングを明確にする。
我々の発見は、スケーラブルで堅牢なGPUベースの近接検索システムを設計するための明確なガイドラインを提供する。
論文 参考訳（メタデータ） (2026-02-10T16:18:04Z) - Optimizing Resource Allocation for Geographically-Distributed Inference by Large Language Models [8.341777627286621]
大規模な言語モデルは、多くのAIタスクにおいて異常なパフォーマンスを示してきたが、ハイエンドGPUを必要とするため、トレーニング後にも使用するには高価である。
近年,PETALSと呼ばれる分散システムが開発され,複数のサーバにモデルブロックを分割し,ローエンドGPUをインターネット上に分散することで,LCMのデプロイ障壁を低くすることに成功した。
本稿では,分散LLM推論における資源配分問題に関する最初の体系的研究を行い,ブロック配置と要求ルーティングの2つの重要な決定に焦点をあてる。
論文 参考訳（メタデータ） (2025-12-26T06:13:59Z) - Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。
我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。
BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
論文 参考訳（メタデータ） (2025-11-04T01:15:44Z) - Hybrid Deep Searcher: Integrating Parallel and Sequential Search Reasoning [57.78245296980122]
本稿では,自然質問から自動生成されるデータセットであるHDS-QA(Hybrid Deep Search QA)を紹介する。
並列化可能な独立サブクエリ(同時に実行可能)と逐次依存サブクエリ(ステップバイステップの解決を必要とする)を組み合わせたハイブリッドホップ質問を含む。
モデルの名称はHybridDeepSearcherで、複数のベンチマークで最先端のベースラインを上回っています。
論文 参考訳（メタデータ） (2025-08-26T15:15:17Z) - OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding [50.72259772580637]
エージェントの観点から,オンライン時空間理解を評価するためのベンチマークOST-Benchを紹介する。
効率的なデータ収集パイプライン上に構築されたOST-Benchは、ScanNet、Matterport3D、ARKitScenesから収集された1.4kのシーンと10kの質問応答ペアで構成されている。
複雑な空間的推論要求と長期記憶検索要求の両方が、2つの別々の軸に沿ってモデル性能を著しく低下させることがわかった。
論文 参考訳（メタデータ） (2025-07-10T17:56:07Z) - DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。
グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。
HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
論文 参考訳（メタデータ） (2024-09-18T11:34:28Z) - A Real-Time Adaptive Multi-Stream GPU System for Online Approximate Nearest Neighborhood Search [3.116913746878115]
RTAMS-GANNS(Real-Time Adaptive Multi-Stream GPU ANNS System)を提案する。
私たちのアーキテクチャはその目的を3つの重要な進歩を通して達成します。
提案システムは実世界の産業検索やレコメンデーションシステムにも展開されており、毎日数億人のユーザーにサービスを提供している。
論文 参考訳（メタデータ） (2024-08-06T03:44:06Z) - A GPU-specialized Inference Parameter Server for Large-Scale Deep
Recommendation Models [6.823233135936128]
推薦システムは、ニュースフィード、ソーシャルネットワーク、eコマース、検索など、様々なモダンなアプリやWebサービスにとって不可欠である。
ピーク予測精度を達成するため、現代のレコメンデーションモデルは、ディープラーニングとテラバイト規模の埋め込みテーブルを組み合わせることで、基礎となるデータのきめ細かい表現を得る。
従来の推論サービスアーキテクチャでは、モデル全体をスタンドアロンのサーバにデプロイする必要があります。
論文 参考訳（メタデータ） (2022-10-17T07:36:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。