論文の概要: Large Scale Retrieval for the LinkedIn Feed using Causal Language Models

• arxiv url: http://arxiv.org/abs/2510.14223v1
• Date: Thu, 16 Oct 2025 02:01:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.677175
• Title: Large Scale Retrieval for the LinkedIn Feed using Causal Language Models
• Title（参考訳）: 因果言語モデルを用いたLinkedInフィードの大規模検索
• Authors: Sudarshan Srinivasa Ramanujam, Antonio Alonso, Saurabh Kataria, Siddharth Dangi, Akhilesh Gupta, Birjodh Singh Tiwana, Manas Somaiya, Luke Simon, David Byrne, Sojeong Ha, Sen Zhou, Andrei Akterskii, Zhanglong Liu, Samira Sriram, Crescent Xiong, Zhoutao Pei, Angela Shao, Alex Li, Annie Xiao, Caitlin Kolb, Thomas Kistler, Zach Moore, Hamed Firooz,
• Abstract要約: 本稿では,大規模な因果言語モデルをデュアルエンコーダとして微調整し,ユーザ(メンバー)とコンテンツ(イテム)の両方に高品質な埋め込みを生成する,新たな検索手法を提案する。 組込み生成の即時設計、LinkedInのスケールでの微調整のテクニック、低レイテンシのためのインフラストラクチャ、コスト効率のよいオンラインサービスを含む、エンドツーエンドパイプラインについて説明する。
• 参考スコア（独自算出の注目度）: 4.742257164636025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In large scale recommendation systems like the LinkedIn Feed, the retrieval stage is critical for narrowing hundreds of millions of potential candidates to a manageable subset for ranking. LinkedIn's Feed serves suggested content from outside of the member's network (based on the member's topical interests), where 2000 candidates are retrieved from a pool of hundreds of millions candidate with a latency budget of a few milliseconds and inbound QPS of several thousand per second. This paper presents a novel retrieval approach that fine-tunes a large causal language model (Meta's LLaMA 3) as a dual encoder to generate high quality embeddings for both users (members) and content (items), using only textual input. We describe the end to end pipeline, including prompt design for embedding generation, techniques for fine-tuning at LinkedIn's scale, and infrastructure for low latency, cost effective online serving. We share our findings on how quantizing numerical features in the prompt enables the information to get properly encoded in the embedding, facilitating greater alignment between the retrieval and ranking layer. The system was evaluated using offline metrics and an online A/B test, which showed substantial improvements in member engagement. We observed significant gains among newer members, who often lack strong network connections, indicating that high-quality suggested content aids retention. This work demonstrates how generative language models can be effectively adapted for real time, high throughput retrieval in industrial applications.
• Abstract（参考訳）: LinkedIn Feedのような大規模レコメンデーションシステムでは、検索段階は、管理可能なサブセットに数億の候補を絞り込むために重要である。 LinkedInのフィードは、メンバーのネットワークの外(メンバーのトピックの関心に基づく)からのコンテンツを提供しており、2000人の候補者は、数ミリ秒のレイテンシ予算と毎秒数千のインバウンドQPSを持つ数億の候補のプールから検索される。 本稿では,大規模な因果言語モデル(MetaのLLaMA3)をデュアルエンコーダとして微調整し,テキスト入力のみを用いてユーザ(メンバー)とコンテンツ(イテム)の両方に高品質な埋め込みを生成する,新たな検索手法を提案する。 組込み生成の即時設計、LinkedInのスケールでの微調整のテクニック、低レイテンシのためのインフラストラクチャ、コスト効率のよいオンラインサービスを含む、エンドツーエンドパイプラインについて説明する。 数値的な特徴をインタプリタに量子化することで,情報を埋め込みに適切にエンコードし,検索層とランキング層との整合性を高めることができることを示す。 このシステムはオフラインのメトリクスとオンラインのA/Bテストを用いて評価され、メンバーエンゲージメントを大幅に改善した。 ネットワーク接続が不十分な新メンバーの間では,高品質なコンテンツが保持に役立つことが示唆された。 本研究は,産業アプリケーションにおいて,生成言語モデルをリアルタイムに,高スループット検索に効果的に適用する方法を実証する。

関連論文リスト

• Leveraging Generative Models for Real-Time Query-Driven Text Summarization in Large-Scale Web Search [54.987957691350665]
  クエリ駆動テキスト要約(QDTS)は、与えられたクエリに基づいてテキスト文書から簡潔で情報的な要約を生成することを目的としている。 従来の抽出的要約モデルは、主にランク付け候補の要約セグメントに基づいており、産業応用において支配的なアプローチとなっている。 産業Web検索におけるリアルタイムQDTSに対処するための生成モデルの適用を開拓するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T08:51:51Z)
• SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension [77.93156509994994]
  本研究では,検索性能を向上させるために,より広いコンテキストウインドウに条件付きで短いチャンクを表現する方法を示す。 既存の埋め込みモデルは、そのような場所のコンテキストを効果的にエンコードするのに十分な装備がない。 我々の手法は、最先端の埋め込みモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2025-08-03T23:59:31Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Iterative NLP Query Refinement for Enhancing Domain-Specific Information Retrieval: A Case Study in Career Services [0.13980986259786224]
  ニッチドメインにおける意味的関連文書の検索は、TF-IDFベースのシステムにとって大きな課題となる。 本稿では,Humber CollegeのキャリアサービスWebページに合わせて,反復的かつ半自動的なクエリリファインメント手法を提案する。
  論文  参考訳（メタデータ） (2024-12-22T15:57:35Z)
• CFIR: Fast and Effective Long-Text To Image Retrieval for Large Corpora [3.166549403591528]
  本稿では,高速かつ効率的な画像検索のための2段階の粗度指数共有検索(CFIR)フレームワークを提案する。 CFIRは、Recall@1000で既存のMLLMを最大11.06%上回り、トレーニング時間と検索時間をそれぞれ68.75%、99.79%削減している。
  論文  参考訳（メタデータ） (2024-02-23T11:47:16Z)
• DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System for Multilingual Named Entity Recognition [94.90258603217008]
  MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。 MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。 細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:59:26Z)
• Efficient Neural Query Auto Completion [17.58784759652327]
  クエリオートコンプリートシステムでは,3つの大きな課題が報告されている。 従来のQACシステムは、検索ログのクエリ候補頻度などの手作り機能に依存している。 本稿では,これらの課題を克服するために,効果的なコンテキストモデリングを用いた効率的なニューラルネットワークQACシステムを提案する。
  論文  参考訳（メタデータ） (2020-08-06T21:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。