論文の概要: LiNR: Model Based Neural Retrieval on GPUs at LinkedIn
- arxiv url: http://arxiv.org/abs/2407.13218v2
- Date: Mon, 22 Jul 2024 18:33:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 12:19:26.387067
- Title: LiNR: Model Based Neural Retrieval on GPUs at LinkedIn
- Title（参考訳）: LiNR: LinkedInのGPU上でのモデルベースのニューラル検索
- Authors: Fedor Borisyuk, Qingquan Song, Mingzhou Zhou, Ganesh Parameswaran, Madhu Arun, Siva Popuri, Tugrul Bingol, Zhuotao Pei, Kuang-Hsuan Lee, Lu Zheng, Qizhan Shao, Ali Naqvi, Sen Zhou, Aman Gupta,
- Abstract要約: LiNRはLinkedInの大規模GPUベースの検索システムである。
大規模なインデックスに対して,フルスキャンと効率的なフィルタリングを取り入れたシステム拡張について述べる。
我々は、LiNRが業界初のLive-updated model-based search indexの1つであると考えている。
- 参考スコア（独自算出の注目度）: 7.7977551402289045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces LiNR, LinkedIn's large-scale, GPU-based retrieval system. LiNR supports a billion-sized index on GPU models. We discuss our experiences and challenges in creating scalable, differentiable search indexes using TensorFlow and PyTorch at production scale. In LiNR, both items and model weights are integrated into the model binary. Viewing index construction as a form of model training, we describe scaling our system for large indexes, incorporating full scans and efficient filtering. A key focus is on enabling attribute-based pre-filtering for exhaustive GPU searches, addressing the common challenge of post-filtering in KNN searches that often reduces system quality. We further provide multi-embedding retrieval algorithms and strategies for tackling cold start issues in retrieval. Our advancements in supporting larger indexes through quantization are also discussed. We believe LiNR represents one of the industry's first Live-updated model-based retrieval indexes. Applied to out-of-network post recommendations on LinkedIn Feed, LiNR has contributed to a 3% relative increase in professional daily active users. We envisage LiNR as a step towards integrating retrieval and ranking into a single GPU model, simplifying complex infrastructures and enabling end-to-end optimization of the entire differentiable infrastructure through gradient descent.
- Abstract（参考訳）: 本稿では,LinkedInの大規模GPUベース検索システムであるLiNRを紹介する。
LiNRはGPUモデルの10億ドル規模のインデックスをサポートする。
TensorFlowとPyTorchを実運用規模で使用して、スケーラブルで差別化可能な検索インデックスを作成する上での私たちの経験と課題について論じる。
LiNRでは、アイテムとモデルウェイトの両方がモデルバイナリに統合されます。
モデルトレーニングの一形態としてインデックス構築を見ていくことで,大規模なインデックスをスケールし,フルスキャンと効率的なフィルタリングを取り入れたシステムについて述べる。
重要な焦点は、徹底的なGPUサーチで属性ベースの事前フィルタリングを可能にすることであり、システム品質を低下させるKNNサーチにおけるポストフィルタの一般的な課題に対処する。
さらに、検索におけるコールドスタート問題に対処するためのマルチ埋め込み検索アルゴリズムと戦略を提供する。
量子化によるより大きな指標支援の進歩についても論じる。
我々は、LiNRが業界初のLive-updated model-based search indexの1つであると考えている。
LinkedIn Feedのネットワーク外投稿レコメンデーションに適用されると、LiNRはプロのデイリーアクティブユーザーを3%増加させた。
我々はLiNRを、検索とランキングを単一のGPUモデルに統合し、複雑なインフラストラクチャを単純化し、勾配勾配を通した変更可能なインフラストラクチャ全体のエンドツーエンドの最適化を可能にするためのステップとして考えています。
関連論文リスト
- Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z) - Learning To Dive In Branch And Bound [95.13209326119153]
グラフニューラルネットワークを用いて特定の潜水構造を学習するためのL2Diveを提案する。
我々は、変数の割り当てを予測するために生成モデルを訓練し、線形プログラムの双対性を利用して潜水決定を行う。
論文 参考訳（メタデータ） (2023-01-24T12:01:45Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳（メタデータ） (2022-08-16T10:22:49Z) - Re2G: Retrieve, Rerank, Generate [14.848179433828252]
ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。
エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。
KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
論文 参考訳（メタデータ） (2022-07-13T15:51:40Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - Zero-shot Slot Filling with DPR and RAG [10.577238010892287]
与えられた文書コレクションから知識グラフ(KG)を自動的に抽出する能力は、人工知能の長年の問題である。
この分野の最近の進歩は、検索ベースの言語モデルを用いて、エンドツーエンドの方法でこの課題を解決しようとする。
本稿では,より優れたスロットフィラーを実現するために,ragのレトリバーとジェネレータを改善するためのいくつかの戦略について述べる。
論文 参考訳（メタデータ） (2021-04-17T18:24:51Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。