論文の概要: Rethinking ANN-based Retrieval: Multifaceted Learnable Index for Large-scale Recommendation System

• arxiv url: http://arxiv.org/abs/2602.16124v1
• Date: Wed, 18 Feb 2026 01:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.483002
• Title: Rethinking ANN-based Retrieval: Multifaceted Learnable Index for Large-scale Recommendation System
• Title（参考訳）: ANNに基づく大規模レコメンデーションシステムのための多面学習可能指標の再検討
• Authors: Jiang Zhang, Yubo Wang, Wei Chang, Lu Han, Xingying Cheng, Feng Zhang, Min Li, Songhao Jiang, Wei Zheng, Harry Tran, Zhen Wang, Lei Chen, Yueming Wang, Benyu Zhang, Xiangjun Fan, Bi Xue, Qifan Wang,
• Abstract要約: MultiFaceted Learnable Index (MFLI)は、マルチフェイスアイテムの埋め込みとインデックスを統一されたフレームワーク内で学習するスケーラブルでリアルタイムな検索パラダイムである。 MFLIは、エンゲージメントタスクのリコールを最大11.8%改善し、コールドコンテントデリバリを最大57.29%改善し、セマンティック関連性を従来の最先端手法と比較して13.5%改善した。
• 参考スコア（独自算出の注目度）: 46.70111672855811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate nearest neighbor (ANN) search is widely used in the retrieval stage of large-scale recommendation systems. In this stage, candidate items are indexed using their learned embedding vectors, and ANN search is executed for each user (or item) query to retrieve a set of relevant items. However, ANN-based retrieval has two key limitations. First, item embeddings and their indices are typically learned in separate stages: indexing is often performed offline after embeddings are trained, which can yield suboptimal retrieval quality-especially for newly created items. Second, although ANN offers sublinear query time, it must still be run for every request, incurring substantial computation cost at industry scale. In this paper, we propose MultiFaceted Learnable Index (MFLI), a scalable, real-time retrieval paradigm that learns multifaceted item embeddings and indices within a unified framework and eliminates ANN search at serving time. Specifically, we construct a multifaceted hierarchical codebook via residual quantization of item embeddings and co-train the codebook with the embeddings. We further introduce an efficient multifaceted indexing structure and mechanisms that support real-time updates. At serving time, the learned hierarchical indices are used directly to identify relevant items, avoiding ANN search altogether. Extensive experiments on real-world data with billions of users show that MFLI improves recall on engagement tasks by up to 11.8\%, cold-content delivery by up to 57.29\%, and semantic relevance by 13.5\% compared with prior state-of-the-art methods. We also deploy MFLI in the system and report online experimental results demonstrating improved engagement, less popularity bias, and higher serving efficiency.
• Abstract（参考訳）: 大規模レコメンデーションシステムの検索段階では,近似近接探索(ANN)が広く用いられている。 この段階では、学習した埋め込みベクトルを用いて候補項目をインデックス化し、各ユーザ(またはアイテム)クエリに対してANN検索を実行し、関連する項目の集合を検索する。 しかし、ANNベースの検索には2つの重要な制限がある。 まず、アイテムの埋め込みとそのインデックスは、通常、別の段階で学習される: 埋め込みが訓練された後、インデックス化はしばしばオフラインで行われる。 第二に、ANNはサブ線形クエリ時間を提供するが、要求毎に実行され、産業規模でかなりの計算コストを発生させる必要がある。 本稿では,MFLI(Multifaceted Learnable Index)を提案する。これはスケーラブルでリアルタイムな検索パラダイムで,統合されたフレームワーク内での多面的項目の埋め込みやインデックスを学習し,サービス時のANN検索を不要にする。 具体的には,複数面の階層型コードブックをアイテム埋め込みの残差量子化により構築し,その埋め込みと協調してコードブックを訓練する。 さらに、リアルタイム更新をサポートする効率的な多面的インデックス構造と機構を導入する。 サービス時には、学習した階層インデックスを直接使用して関連する項目を識別し、ANN検索を完全に回避する。 数十億のユーザによる実世界のデータに関する大規模な実験によると、MFLIはエンゲージメントタスクのリコールを最大11.8\%改善し、コールドコンテント配信を最大57.29\%改善し、セマンティック関連性を従来の最先端手法と比較して13.5\%改善している。 また、システムにMFLIをデプロイし、オンライン実験結果を報告し、エンゲージメントの改善、人気バイアスの低減、サービス効率の向上を実証した。

関連論文リスト

• HAKES: Scalable Vector Database for Embedding Search Service [16.034584281180006]
  我々は,並列な読み書きワークロード下で高いスループットと高いリコールを実現するベクトルデータベースを構築した。 我々のインデックスは、高リコール領域と同時読み書きワークロード下でインデックスベースラインより優れています。 nameysはスケーラブルで、ベースラインよりも最大16タイムで高いスループットを実現します。
  論文  参考訳（メタデータ） (2025-05-18T19:26:29Z)
• EnrichIndex: Using LLMs to Enrich Retrieval Indices Offline [47.064685680644345]
  実世界の検索システムは、文書が関係しているかどうかを暗黙的に判断するためにしばしば必要とされる。 大規模言語モデル(LLM)は、それらの推論スキルを活用することで、そのような意味のある関連性を識別する大きな可能性を秘めている。 本稿では,LLMをオフラインで使用して意味に富んだ検索指標を構築する検索手法であるEnrichIndexを紹介する。
  論文  参考訳（メタデータ） (2025-04-04T17:08:46Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• LIST: Learning to Index Spatio-Textual Data for Embedding based Spatial Keyword Queries [53.843367588870585]
  リスト K-kNN 空間キーワードクエリ (TkQ) は、空間的およびテキスト的関連性の両方を考慮したランキング関数に基づくオブジェクトのリストを返す。 効率的かつ効率的な指標、すなわち高品質なラベルの欠如とバランスの取れない結果を構築する上で、大きな課題が2つある。 この2つの課題に対処する新しい擬似ラベル生成手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T05:32:33Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Deep Retrieval: Learning A Retrievable Structure for Large-Scale Recommendations [21.68175843347951]
  本稿では,ユーザとイテムのインタラクションデータを用いて,検索可能な構造を直接学習するために,Deep Retrieval(DR)を提案する。 DRは、産業レコメンデーションシステムのために数億のアイテムをスケールで展開した最初の非ANNアルゴリズムの1つである。
  論文  参考訳（メタデータ） (2020-07-12T06:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。