論文の概要: Efficient GPU Retrieval for Semantic Search
- arxiv url: http://arxiv.org/abs/2608.28968v1
- Date: Sat, 29 Aug 2026 00:38:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.797343
- Title: Efficient GPU Retrieval for Semantic Search
- Title(参考訳): セマンティック検索のための効率的なGPU検索法
- Abstract要約: 本稿では、LinkedInのポリシー整合型検索フレームワークを提案する。
軽量のシングルスロットStage-1スコアラは、ハイリコール候補を生成する。
21Kのホールドアウトクエリでは、この表現は一致した容量ベースラインに対するオフラインの関連性を改善する。
- 参考スコア(独自算出の注目度): 11.631441668563802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic Search on LinkedIn must retrieve relevant profiles from a corpus of hundreds of millions in response to natural-language queries such as "a fintech founder in Berlin who worked in payments." The deployed relevance policy is bottleneck-oriented: every active non-negotiable facet must be satisfied, and a pre-existing LLM Graded Relevance (GR) judge operationalizes this through a fixed min/median aggregation over facet grades. Cosine similarity instead averages evidence, letting a strong match on one facet mask failure on another, capping the recall of the first-stage (L0) retriever. We present a policy-aligned retrieval framework: embeddings are partitioned into eight category-supervised segments whose scores follow the same min/median rule at serving time; for multi-vector retrieval, this segment score is computed independently per tagged document slot and maximized across slots. A lightweight single-slot Stage-1 scorer generates high-recall candidates, while scale-invariant relative-norm gating keeps category activation consistent across training, evaluation, and serving. On 21K held-out queries, this representation improves offline relevance over a matched-capacity baseline, with gains broadly distributed across facet combinations. We serve this framework with a two-stage GPU architecture: an FP8 coarse ranker scores the full corpus, increasing per-shard capacity by 71% and Stage-1 matmul throughput by 36%, then an FP16 stage exactly re-ranks an oversampled candidate set, recovering 99.6-99.8% of full-FP16 recall at over 500 QPS per shard replica. In a member-randomized A/B test, exploratory-query Precision@10 under the unchanged GR judge rises from 63.7% to 79.0% and navigational Precision@1 from 65.5% to 74.7%, with a blinded human evaluation independently confirming the Precision@10 gain.
- Abstract(参考訳): Semantic Search on LinkedInは、"支払いに携わるベルリンのフィンテック創業者"のような自然言語クエリに応答して、数億のコーパスから関連するプロファイルを取得する必要がある。
デプロイされた関連ポリシーはボトルネック指向であり、すべてのアクティブな非交渉可能なファセットを満足させなければならず、既存のLLMグレードレバレンス(GR)の判断は、ファセットグレード上の固定されたmin/medianアグリゲーションを通じてこれを運用する。
代わりにコサインの類似性は証拠を平均化し、一方の顔のマスクの故障に強い一致を与え、第1段(L0)レトリバーのリコールを抑える。
埋め込みは、サービス時に同じmin/medianルールに従う8つのカテゴリ管理セグメントに分割され、マルチベクタ検索では、このセグメントスコアはタグ付き文書スロット毎に独立に計算され、スロット間で最大化される。
軽量なシングルスロットのStage-1スコアラはハイリコール候補を生成する一方、スケール不変相対ノルムゲーティングは、トレーニング、評価、サービス間でカテゴリアクティベーションを一定に保つ。
21Kのホールドアウトクエリでは、この表現は一致した容量ベースラインに対するオフラインの関連性を改善する。
FP8粗いローダは、全コーパスをスコアし、シャード毎の容量を71%増加し、Stage-1のマットルスループットを36%増加させ、FP16ステージは、オーバーサンプリングされた候補セットを正確に再ランクし、シャードレプリカ当たり500QPS以上のフルFP16リコールの99.6-99.8%を回復する。
メンバーランダム化A/Bテストでは、修正GR判事の下での探索クエリPrecision@10は63.7%から79.0%に上昇し、ナビゲーションPrecision@1は65.5%から74.7%に上昇した。
関連論文リスト
- Dear Algo: A Precision-First Agentic Intent Layer for Unified Search and Recommendation [14.580988352516457]
emphmore NBA News や emphless politics といったオープンエンドのリクエストは、ワンショットの結果リストではなく、その後のフィードレコメンデーションを操縦する。
Dear Algo on Threadsは、明示的に、推論され、ネガティブで、複雑なインテントを、地上の実行可能なプランにコンパイルする。
提案手法は, 精度優先評価フレームワークを用いて, フィードレコメンデーションに自然言語の意図がどのように適用できるかを示す。
論文 参考訳(メタデータ) (2026-08-16T17:59:12Z) - CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。
10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
論文 参考訳(メタデータ) (2026-08-07T19:11:54Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳(メタデータ) (2026-07-02T10:59:03Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳(メタデータ) (2026-06-02T06:58:54Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳(メタデータ) (2026-06-02T02:45:21Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳(メタデータ) (2026-05-27T03:41:11Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。
この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。
このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。
本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-13T04:52:33Z) - The Evaluation Blind Spot: A Stereological Theory of Benchmark Coverage for Large Language Models [0.0]
実証的に、3つの独立したリーダーボード(Open LLM v2、拡張12ベンチマークスイート、LiveBench)は、いずれも[2.86, 4.80]のd_effを持つ。
Nemhauser (1 − 1/e) 保証付き部分モジュラーグリードアルゴリズムは、4つのベンチマークの安定なコアを見つける。
12のベンチマークと27のカテゴリの反実的な検証では、固有構造がどの評価が置き換えられないかを予測している。
論文 参考訳(メタデータ) (2026-04-15T08:56:58Z) - Peak + Accumulation: A Proxy-Level Scoring Formula for Multi-Turn LLM Attack Detection [0.0]
マルチターンプロンプトインジェクション攻撃は、複数の会話ターンに悪意のある意図を分散させる。
プロキシ層での会話レベルのリスクスコアにターン毎のパターンスコアを集約する公式は存在しない。
本稿では,ピークの単一ターンリスク,持続率,カテゴリの多様性を組み合わせ,ピーク+累積スコアリング法を提案する。
論文 参考訳(メタデータ) (2026-02-11T17:53:41Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳(メタデータ) (2025-02-06T04:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。