論文の概要: Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation

• arxiv url: http://arxiv.org/abs/2604.12965v1
• Date: Tue, 14 Apr 2026 16:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.572445
• Title: Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation
• Title（参考訳）: 大規模レコメンデーションのための階層インデックスを用いた効率的な検索スケーリング
• Authors: Dongqi Fu, Kaushik Rangadurai, Haiyu Lu, Yunchen Pu, Siyang Yuan, Minhui Huang, Yiqun Liu, Golnaz Ghasemiesfeh, Xingfeng He, Fangzhou Xu, Andrew Cui, Vidhoon Viswanathan, Lin Yang, Liang Wang, Jiyan Yang, Chonglin Sun,
• Abstract要約: 本稿では,基礎的検索モデルの記憶から階層的な組織を学習できるかどうかを考察する。 本稿では,大規模検索モデルに対するクロスアテンションと残差量子化を用いた階層的指標の併用学習を提案する。 われわれはMetaで現実の展開を紹介し、FacebookやInstagramの何十億人ものユーザーに対する毎日の広告レコメンデーションをサポートする。
• 参考スコア（独自算出の注目度）: 18.266884490896228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increase in data volume, computational resources, and model parameters during training has led to the development of numerous large-scale industrial retrieval models for recommendation tasks. However, effectively and efficiently deploying these large-scale foundational retrieval models remains a critical challenge that has not been fully addressed. Common quick-win solutions for deploying these massive models include relying on offline computations (such as cached user dictionaries) or distilling large models into smaller ones. Yet, both approaches fall short of fully leveraging the representational and inference capabilities of foundational models. In this paper, we explore whether it is possible to learn a hierarchical organization over the memory of foundational retrieval models. Such a hierarchical structure would enable more efficient search by reducing retrieval costs while preserving exactness. To achieve this, we propose jointly learning a hierarchical index using cross-attention and residual quantization for large-scale retrieval models. We also present its real-world deployment at Meta, supporting daily advertisement recommendations for billions of Facebook and Instagram users. Interestingly, we discovered that the intermediate nodes in the learned index correspond to a small set of high-quality data. Fine-tuning the model on this set further improves inference performance, and concretize the concept of "test-time training" within the recommendation system domain. We demonstrate these findings using both internal and public datasets with strong baseline comparisons and hope they contribute to the community's efforts in developing the next generation of foundational retrieval models.
• Abstract（参考訳）: トレーニング中のデータ量、計算資源、モデルパラメータの増加は、レコメンデーションタスクのための大規模産業検索モデルの開発に繋がった。 しかし、これらの大規模基盤検索モデルを効果的かつ効率的に展開することは、まだ十分に解決されていない重要な課題である。 これらの大規模モデルをデプロイするための一般的なクイックウィンソリューションには、オフラインの計算(キャッシュされたユーザ辞書など)に依存することや、大規模なモデルをより小さなものに蒸留することなどがある。 しかし、どちらのアプローチも基礎モデルの表現的および推論能力を完全に活用できない。 本稿では,基礎的検索モデルの記憶から階層的な組織を学習できるかどうかを考察する。 このような階層構造は、正確性を保ちながら検索コストを削減し、より効率的な探索を可能にする。 そこで本研究では,大規模検索モデルに対して,クロスアテンションと残差量子化を用いた階層的指標の同時学習を提案する。 またMetaでは、何十億ものFacebookやInstagramユーザーに対する毎日の広告レコメンデーションもサポートしています。 興味深いことに、学習指標の中間ノードは、少数の高品質なデータに対応することがわかった。 このセットでモデルを微調整することで推論性能が向上し、レコメンデーションシステムドメイン内での"テストタイムトレーニング"の概念が強化される。 本研究は,ベースライン比較の強い内部データセットと公開データセットを用いて,これらの知見を実証し,次世代の基盤検索モデル開発へのコミュニティの取り組みに寄与することを期待する。

関連論文リスト

• A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
  VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。 これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
  論文  参考訳（メタデータ） (2025-10-27T17:57:33Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• UpLIF: An Updatable Self-Tuning Learned Index Framework [4.077820670802213]
  UpLIFは、入ってくる更新に対応するようにモデルを調整した適応的な自己チューニング学習インデックスである。 また、モデル固有の特性を決定するバランスモデル調整の概念も導入する。
  論文  参考訳（メタデータ） (2024-08-07T22:30:43Z)
• Reinforcement Learning with Generative Models for Compact Support Sets [10.041289551532804]
  基礎モデルの制御手段として強化学習を利用する枠組みを提案する。 我々のフレームワークは優れた結果をもたらし、追加のラベル付けやデータコストを使わずにかなりのマージンで分類精度を向上した。
  論文  参考訳（メタデータ） (2024-04-25T02:48:16Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Which Model to Transfer? Finding the Needle in the Growing Haystack [27.660318887140203]
  我々は後悔というよく知られた概念を通じてこの問題の形式化を提供する。 タスク非依存とタスク認識の両方の手法が,後悔を招きかねないことを示す。 そこで我々は,既存の手法よりも優れた,シンプルで効率的なハイブリッド検索戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-13T14:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。