論文の概要: LLM-Based Generative Retrieval for Snapchat Content Recommendation

• arxiv url: http://arxiv.org/abs/2607.28895v1
• Date: Thu, 30 Jul 2026 23:27:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.532243
• Title: LLM-Based Generative Retrieval for Snapchat Content Recommendation
• Title（参考訳）: SnapchatコンテンツレコメンデーションのためのLLMに基づく生成検索
• Authors: Liam Collins, Jiwen Ren, Donald Loveland, Bhuvesh Kumar, Clark Mingxuan Ju, Xuan Guo, Mo Li, Alvin Hou, Yi Cui, Peng Yang, Jian Wang, Saud Afzal Shafi, Nga Than, Ruiming Lu, Wenfeng Zhuo, Dongheng Li, Lili Zhang, Mingtao Zhang, Jinchao Ye, Vincent Xue, Chunhui Zhu, Neil Shah,
• Abstract要約: SnapLGRは、SnapchatのショートビデオレコメンデーションのためのLLMベースの生成検索システムである。 まず、マルチモーダルアイテムの埋め込みから意味識別子(SID)を構築する。 次に、プリトレーニングPTを用いて、導入したSIDをグランドし、微調整シーケンスを教師する。 第3に、ユーザ支援検索と分散ワーカーループアーキテクチャにより、SnapLGRを実用的なものにする。
• 参考スコア（独自算出の注目度）: 23.57504214247947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained large language models (LLMs) are promising retrieval engines because they combine rich semantic priors, strong sequence modeling capabilities, and favorable scaling behavior. However, turning a pretrained LLM into a generative retriever in production deployment raises several challenges: the model must learn an internal item vocabulary that was absent from pretraining, and generate valid item identifiers under strict latency and cost constraints. We address these challenges through the design and launch of SnapLGR, an LLM-based generative retrieval system for short-video recommendation at Snapchat. The system is built around three main designs. First, we construct semantic identifiers (SIDs) from multimodal item embeddings and enhance them with Personalized PageRank (PPR)-based co-engagement contrastive learning, resulting in improved codebook utilization, reduced collisions, and infused collaborative signal. Second, we use continued pretraining (CPT) to ground the introduced SID tokens before supervised fine-tuning (SFT) on user interaction sequences. Third, we make SnapLGR serving practical through TensorRT-LLM CUDA-backed beam search and a decentralized worker-loop architecture. In a live A/B test, the launched system increased View Time by 0.37%, Time Spent by 0.09%, Deep Sessions by 0.18%, and Deep Sessions Unique User by 0.11% relative to the existing TIGER-style generative retrieval baseline. We then decompose this offline gap under a fixed tokenizer and quantify the gains due to model architecture, scaling, and pretraining. Overall, our deployment shows that successful production SnapLGR requires joint design across representation learning, vocabulary grounding, and efficient training and serving.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)は、リッチなセマンティック事前処理、強力なシーケンスモデリング機能、好ましいスケーリング動作を組み合わせることで、有望な検索エンジンである。 しかし、プレトレーニング済みのLLMを本番環境における生成型レトリバーに変えることは、いくつかの課題を生じさせる: モデルは事前トレーニングに欠ける内部項目の語彙を学習し、厳密なレイテンシとコスト制約の下で有効なアイテム識別子を生成する必要がある。 われわれは、Snapchatの短いビデオレコメンデーションのためのLLMベースの生成検索システムであるSnapLGRの設計とローンチを通じて、これらの課題に対処する。 システムは3つの主要な設計で構成されている。 まず、マルチモーダルなアイテム埋め込みから意味識別子(SID)を構築し、PPR(Personalized PageRank)ベースのコントラスト学習によりそれらを強化することにより、コードブックの利用性の向上、衝突の低減、協調信号の注入を実現した。 第2に、ユーザインタラクションシーケンスの微調整(SFT)を監督する前に、導入したSIDトークンを基盤として継続事前トレーニング(CPT)を用いる。 3つ目は、TensorRT-LLM CUDA支援ビームサーチと分散ワーカーループアーキテクチャによるSnapLGRの実現である。 ライブA/Bテストでは、ローンチシステムはビュータイムを0.37%、タイムスペントを0.09%、ディープセッションを0.18%、ディープセッションを0.11%増加させた。 次に、固定トークン化器の下でこのオフラインギャップを分解し、モデルアーキテクチャ、スケーリング、事前トレーニングによるゲインを定量化する。 全体として、運用が成功しているSnapLGRは、表現学習、語彙の接地、効率的なトレーニングとサービスにまたがる共同設計を必要としていることを、当社のデプロイメントが示しています。

関連論文リスト

• Where to Begin: Efficient Pretraining via Subnetwork Selection and Distillation [33.07085290528539]
  小言語モデル(SLM)は、Large Language Models(LLM)に代わる効率的でアクセスしやすい選択肢を提供する。 本稿では,SLMの事前学習のためのシンプルで効果的なフレームワークを提案する。 すべてのコードとモデルをリリースし、大規模にコスト効率の良い小言語モデル開発への実践的で再現可能なパスを提供します。
  論文  参考訳（メタデータ） (2025-10-08T16:57:46Z)
• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Large-Scale Pre-training for Person Re-identification with Noisy Labels [125.49696935852634]
  雑音ラベル(PNL)を利用した大規模事前学習フレームワークを開発した。 原則として、これらの3つのモジュールの合同学習は、1つのプロトタイプに類似したクラスタの例だけでなく、プロトタイプの割り当てに基づいてノイズラベルを修正します。 このシンプルな事前学習タスクは、ベルやwhiを使わずに"LUPerson-NL"でSOTA Re-ID表現をスクラッチから学習するスケーラブルな方法を提供する。
  論文  参考訳（メタデータ） (2022-03-30T17:59:58Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。