論文の概要: Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm

• arxiv url: http://arxiv.org/abs/2510.14321v1
• Date: Thu, 16 Oct 2025 05:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.737839
• Title: Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm
• Title（参考訳）: 大規模推論埋め込みモデル:次世代高密度検索パラダイムに向けて
• Authors: Jianting Tang, Dongshuai Li, Tao Wen, Fuyu Lv, Dan Ou, Linli Xu,
• Abstract要約: 本稿では、推論過程を表現学習に統合するLarge Reasoning Embedding Model(LREM)を提案する。 難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。 この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 16.78399933831573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern e-commerce search systems, dense retrieval has become an indispensable component. By computing similarities between query and item (product) embeddings, it efficiently selects candidate products from large-scale repositories. With the breakthroughs in large language models (LLMs), mainstream embedding models have gradually shifted from BERT to LLMs for more accurate text modeling. However, these models still adopt direct-embedding methods, and the semantic accuracy of embeddings remains inadequate. Therefore, contrastive learning is heavily employed to achieve tight semantic alignment between positive pairs. Consequently, such models tend to capture statistical co-occurrence patterns in the training data, biasing them toward shallow lexical and semantic matches. For difficult queries exhibiting notable lexical disparity from target items, the performance degrades significantly. In this work, we propose the Large Reasoning Embedding Model (LREM), which novelly integrates reasoning processes into representation learning. For difficult queries, LREM first conducts reasoning to achieve a deep understanding of the original query, and then produces a reasoning-augmented query embedding for retrieval. This reasoning process effectively bridges the semantic gap between original queries and target items, significantly improving retrieval accuracy. Specifically, we adopt a two-stage training process: the first stage optimizes the LLM on carefully curated Query-CoT-Item triplets with SFT and InfoNCE losses to establish preliminary reasoning and embedding capabilities, and the second stage further refines the reasoning trajectories via reinforcement learning (RL). Extensive offline and online experiments validate the effectiveness of LREM, leading to its deployment on China's largest e-commerce platform since August 2025.
• Abstract（参考訳）: 現代のeコマース検索システムでは、高密度検索が必須の要素となっている。 クエリとアイテム(製品)の埋め込みの類似性を計算することで、大規模リポジトリから候補商品を効率的に選択する。 大規模言語モデル(LLM)のブレークスルーにより、より正確なテキストモデリングのために、主流の埋め込みモデルはBERTからLLMへと徐々にシフトしてきた。 しかし、これらのモデルは依然として直接埋め込み方式を採用しており、埋め込みのセマンティックな精度は依然として不十分である。 したがって、正のペア間の密接なセマンティックアライメントを実現するために、コントラスト学習が多用されている。 その結果、そのようなモデルはトレーニングデータにおける統計的共起パターンを捉え、浅い語彙と意味の一致に偏りを呈する傾向にある。 ターゲットアイテムと顕著な語彙差を示す難しいクエリでは、パフォーマンスが著しく低下する。 本研究では,推論過程を表現学習に統合したLarge Reasoning Embedding Model (LREM)を提案する。 難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。 この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。 具体的には、第1段階は、SFTとInfoNCEの損失で慎重にキュレートされたQuery-CoT-Item三重項に対してLLMを最適化し、予備的推論と埋め込み能力を確立し、第2段階は強化学習(RL)による推論軌道をさらに改善する。 大規模なオフラインおよびオンライン実験はLREMの有効性を検証し、2025年8月以来、中国最大のeコマースプラットフォームに展開した。

関連論文リスト

• Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
  大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。 この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
  論文  参考訳（メタデータ） (2025-10-16T16:02:27Z)
• From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance [20.096802351171377]
  eコマース検索システムは,大規模言語モデルの直接適用を防止するために,厳格なレイテンシ要件に直面している。 本稿では,LLM から軽量で展開しやすい学生モデルへ推論機能を移行するための2段階推論蒸留フレームワークを提案する。 我々のフレームワークは、複数のメトリクスをまたいだ大幅な改善を実現し、その有効性と実用的価値を検証します。
  論文  参考訳（メタデータ） (2025-10-13T06:46:43Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• CSPLADE: Learned Sparse Retrieval with Causal Language Models [12.930248566238243]
  学習スパース検索(LSR)のための大規模言語モデル(LLM)の訓練における2つの課題を特定する。 本研究では,(1)トレーニング不安定を解消するための軽量適応訓練フェーズ,(2)双方向情報を実現するための2つのモデル変種を提案する。 これらの手法により,LSRモデルを8BスケールのLLMで学習し,インデックスサイズを縮小した競合検索性能を実現することができる。
  論文  参考訳（メタデータ） (2025-04-15T02:31:34Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。 しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Boosting LLM-based Relevance Modeling with Distribution-Aware Robust Learning [14.224921308101624]
  本稿では,関係モデリングのための新しい分布認識ロバスト学習フレームワーク(DaRL)を提案する。 DaRLはAlipayの保険商品検索のためにオンラインで展開されている。
  論文  参考訳（メタデータ） (2024-12-17T03:10:47Z)
• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
  LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
  論文  参考訳（メタデータ） (2024-11-07T08:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。