論文の概要: The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers

• arxiv url: http://arxiv.org/abs/2607.25346v2
• Date: Sat, 01 Aug 2026 06:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:23.925828
• Title: The Case Against Generation for Retrieval: Discriminative Language Models as Effective Retrievers
• Title（参考訳）: 検索のための生成に反する事例:効果的な検索手段としての識別言語モデル
• Authors: Zhe Xu, Prachi Agrawal, Kavosh Asadi, Tianyi Chen, Carl Hu, Justin Johnson, Wuwei Lan, Mingfu Liang, Xi Liu, Tik On Lui, Oladipo Ositelu, Sandeep Pandey, Ankit Peshin, Feng Qi, Anil Ramakrishna, Kaushik Rangadurai, Frank Shyu, Luke Simon, Yang Yang, Chiyu Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、レコメンダシステムのための強力な資産として登場した。 ジェネレーティブなレコメンデータやゼロショットローダとしてWebスケールにデプロイすることは、計算オーバーヘッドの禁止と基盤的課題によってボトルネックを被っている。 本稿では,LLMを生成エンジンではなくセマンティックな表現バックボーンとして適応させることにより,古典的かつ高効率な2tower検索アーキテクチャを再活性化する。
• 参考スコア（独自算出の注目度）: 49.488975839992044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have emerged as powerful assets for recommender systems. However, deploying them as generative recommenders or zero-shot rankers at web-scale remains bottlenecked by prohibitive computational overhead and grounding challenges. In this paper, we revitalize the classic, highly efficient two-tower retrieval architecture by adapting LLMs as semantic representation backbones rather than generative engines. We introduce an LLM-native two-tower framework engineered for high-throughput, large-scale retrieval. Our architecture introduces several key innovations: a shared LLM encoder for joint user-item modeling, End-Of-Sentence (EOS) token pooling for compact sequence embedding, cross-dataset transfer learning, knowledge distillation from powerful cross-encoder teachers, and latent reasoning within the user tower. Extensive evaluation across three public benchmarks demonstrates that cross-encoder architecture outperforms current state-of-the-art (SoTA) models, while the efficient two-tower student achieves SoTA-comparable retrieval performance. Furthermore, experiments on internal large-scale production systems yield substantial topline retrieval improvements along with high resilience to model staleness and superior data scaling. Our findings demonstrate that when augmented with modern representation learning, the traditional two-tower paradigm remains an exceptionally competitive and practical solution for industrial retrieval systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、レコメンダシステムのための強力な資産として登場した。 しかし、これらをジェネレーティブなレコメンデータやゼロショットローダとしてWebスケールにデプロイすることは、計算オーバーヘッドの禁止とグラウンディングの課題によってボトルネックになっている。 本稿では,LLMを生成エンジンではなくセマンティックな表現バックボーンとして適応させることにより,古典的かつ高効率な2tower検索アーキテクチャを再活性化する。 高速で大規模検索が可能なLLMネイティブな2towerフレームワークを提案する。 我々のアーキテクチャでは,共同ユーザイテムモデリングのための共有LLMエンコーダ,コンパクトシーケンス埋め込みのためのトークンプーリング,クロスデータセット変換学習,強力なクロスエンコーダ教師による知識蒸留,ユーザタワー内の潜時推論など,いくつかの重要なイノベーションが紹介されている。 3つの公開ベンチマークにおいて、クロスエンコーダアーキテクチャは現在の最先端(SoTA)モデルよりも優れており、効率的な2towerの学生はSoTA互換の検索性能を達成している。 さらに、内部の大規模生産システムに関する実験は、モデル安定性と優れたデータスケーリングに対する高いレジリエンスとともに、実質的なトポライン検索の改善をもたらす。 従来の2towerパラダイムは,近代的な表現学習で拡張された場合においても,産業検索システムにおいて,非常に競争力があり,実用的なソリューションであることを示す。

関連論文リスト

• ROSE: Retrieval-Oriented Segmentation Enhancement [79.7370065070812]
  既存のマルチモーダル大言語モデル(MLLM)に基づくセグメンテーションモデルは、最新の知識を組み込むことができないため、しばしば新しいまたは新しいエンティティと競合する。 本論文では,学習データがないためMLLMが認識できない新規なエンティティのセグメンテーションと,モデルの知識の中に存在するが,正確な認識のために最新の情報を要求する新興エンティティのセグメンテーションに焦点を当てた,NEST(Novel Emerging Task)を紹介した。 Rose: Retrieval-Oriented Enhancementは、MLLMベースのセグメンテーションモデルを拡張するために設計されたプラグインとプレイのフレームワークです。
  論文  参考訳（メタデータ） (2026-04-15T17:59:35Z)
• Efficient Retrieval Scaling with Hierarchical Indexing for Large Scale Recommendation [18.266884490896228]
  本稿では,基礎的検索モデルの記憶から階層的な組織を学習できるかどうかを考察する。 本稿では,大規模検索モデルに対するクロスアテンションと残差量子化を用いた階層的指標の併用学習を提案する。 われわれはMetaで現実の展開を紹介し、FacebookやInstagramの何十億人ものユーザーに対する毎日の広告レコメンデーションをサポートする。
  論文  参考訳（メタデータ） (2026-04-14T16:59:03Z)
• A Simple and Effective Framework for Symmetric Consistent Indexing in Large-Scale Dense Retrieval [11.72564658353791]
  大規模情報検索システムでは,高効率・競争精度のため,高密度検索が業界標準となっている。 広く採用されているデュアルトウワー符号化アーキテクチャは、主に表現空間のミスアライメントと検索インデックスの不整合という、固有の課題を導入している。 本稿では2つの相乗的モジュールからなるシンプルで効果的なSCIフレームワークを提案する。 提案手法の有効性は,公開データセットと実世界のeコマースデータセットにまたがる結果によって検証され,理論的に保証される。
  論文  参考訳（メタデータ） (2025-12-15T08:11:24Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval [72.2676180980573]
  大規模言語モデル(LLM)は、高密度検索のスケールアップに活用できる優れた性能を示した。 オンラインクエリ待ち時間を維持しながら、検索にLLMのスケーリング可能性を利用する2段階のScalingNoteを提案する。 両段階のスケーリング手法はエンド・ツー・エンドのモデルより優れており,産業シナリオにおけるLLMを用いた高密度検索のスケーリング法則を検証している。
  論文  参考訳（メタデータ） (2024-11-24T09:27:43Z)
• Hierarchical Structured Neural Network: Efficient Retrieval Scaling for Large Scale Recommendation [16.21377996349377]
  複雑なユーザインタラクションとアイテムインタラクションを学習するための,効率的なディープニューラルネットワークモデルである階層構造ニューラルネットワーク(HSNN)を導入する。 HSNNは、一般的な手法に比べてオフライン評価の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-08-13T05:53:46Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。