Fugu-MT 論文翻訳(概要): Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm

論文の概要: Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm

arxiv url: http://arxiv.org/abs/2510.14321v2
Date: Fri, 17 Oct 2025 16:24:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-20 13:49:08.796028
Title: Large Reasoning Embedding Models: Towards Next-Generation Dense Retrieval Paradigm
Title（参考訳）: 大規模推論埋め込みモデル:次世代高密度検索パラダイムに向けて
Authors: Jianting Tang, Dongshuai Li, Tao Wen, Fuyu Lv, Dan Ou, Linli Xu,
Abstract要約: 本稿では、推論過程を表現学習に統合するLarge Reasoning Embedding Model(LREM)を提案する。難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。
参考スコア（独自算出の注目度）: 16.78399933831573
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In modern e-commerce search systems, dense retrieval has become an indispensable component. By computing similarities between query and item (product) embeddings, it efficiently selects candidate products from large-scale repositories. With the breakthroughs in large language models (LLMs), mainstream embedding models have gradually shifted from BERT to LLMs for more accurate text modeling. However, these models still adopt direct-embedding methods, and the semantic accuracy of embeddings remains inadequate. Therefore, contrastive learning is heavily employed to achieve tight semantic alignment between positive pairs. Consequently, such models tend to capture statistical co-occurrence patterns in the training data, biasing them toward shallow lexical and semantic matches. For difficult queries exhibiting notable lexical disparity from target items, the performance degrades significantly. In this work, we propose the Large Reasoning Embedding Model (LREM), which novelly integrates reasoning processes into representation learning. For difficult queries, LREM first conducts reasoning to achieve a deep understanding of the original query, and then produces a reasoning-augmented query embedding for retrieval. This reasoning process effectively bridges the semantic gap between original queries and target items, significantly improving retrieval accuracy. Specifically, we adopt a two-stage training process: the first stage optimizes the LLM on carefully curated Query-CoT-Item triplets with SFT and InfoNCE losses to establish preliminary reasoning and embedding capabilities, and the second stage further refines the reasoning trajectories via reinforcement learning (RL). Extensive offline and online experiments validate the effectiveness of LREM, leading to its deployment on China's largest e-commerce platform since August 2025.
Abstract（参考訳）: 現代のeコマース検索システムでは、高密度検索が必須の要素となっている。クエリとアイテム(製品)の埋め込みの類似性を計算することで、大規模リポジトリから候補商品を効率的に選択する。大規模言語モデル(LLM)のブレークスルーにより、より正確なテキストモデリングのために、主流の埋め込みモデルはBERTからLLMへと徐々にシフトしてきた。しかし、これらのモデルは依然として直接埋め込み方式を採用しており、埋め込みのセマンティックな精度は依然として不十分である。したがって、正のペア間の密接なセマンティックアライメントを実現するために、コントラスト学習が多用されている。その結果、そのようなモデルはトレーニングデータにおける統計的共起パターンを捉え、浅い語彙と意味の一致に偏りを呈する傾向にある。ターゲットアイテムと顕著な語彙差を示す難しいクエリでは、パフォーマンスが著しく低下する。本研究では,推論過程を表現学習に統合したLarge Reasoning Embedding Model (LREM)を提案する。難解なクエリに対して、LREMはまず、元のクエリの深い理解を達成するために推論を行い、その後、検索のための推論拡張クエリ埋め込みを生成する。この推論プロセスは、元のクエリとターゲットアイテム間のセマンティックギャップを効果的にブリッジし、検索精度を大幅に向上させる。具体的には、第1段階は、SFTとInfoNCEの損失で慎重にキュレートされたQuery-CoT-Item三重項に対してLLMを最適化し、予備的推論と埋め込み能力を確立し、第2段階は強化学習(RL)による推論軌道をさらに改善する。大規模なオフラインおよびオンライン実験はLREMの有効性を検証し、2025年8月以来、中国最大のeコマースプラットフォームに展開した。

関連論文リスト

FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation [13.855534865501369]
小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
論文参考訳（メタデータ） (2026-02-01T13:26:04Z)
TaoSearchEmb: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search [11.893855231479717]
Retrieval-GRPOは強化学習に基づく高密度検索フレームワークである。中国最大のeコマースプラットフォームに配備されている。
論文参考訳（メタデータ） (2025-11-17T20:16:52Z)
LLMs as Sparse Retrievers:A Framework for First-Stage Product Search [103.70006474544364]
プロダクト検索は、現代のeコマースプラットフォームにおいて重要な要素であり、毎日何十億ものユーザークエリがある。スパース検索法は語彙ミスマッチの問題に悩まされ, 製品検索のシナリオにおいて, 最適以下の性能が向上する。セマンティック分析の可能性により、大言語モデル(LLM)は語彙ミスマッチ問題を緩和するための有望な道を提供する。本稿では,SParsE Retrievers として LLM を利用した製品検索フレームワーク PROSPER を提案する。
論文参考訳（メタデータ） (2025-10-21T11:13:21Z)
Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
論文参考訳（メタデータ） (2025-10-20T04:16:28Z)
Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking [56.46309219272326]
大型言語モデル(LLM)では、教師付き微調整(SFT)による分類は、関連する(非関連)ペアに対して'yes' (resp. ''no')トークンを予測する。この分散は中心的な疑問を提起する:どの目的がLLMベースのリランクに本質的に適しているか、どのメカニズムが違いの根底にあるのか? 我々はCLとSFTの総合的な比較と分析を行い、ユニバーサルマルチモーダル検索(UMR)を実験場とした。
論文参考訳（メタデータ） (2025-10-16T16:02:27Z)
From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance [20.096802351171377]
eコマース検索システムは,大規模言語モデルの直接適用を防止するために,厳格なレイテンシ要件に直面している。本稿では,LLM から軽量で展開しやすい学生モデルへ推論機能を移行するための2段階推論蒸留フレームワークを提案する。我々のフレームワークは、複数のメトリクスをまたいだ大幅な改善を実現し、その有効性と実用的価値を検証します。
論文参考訳（メタデータ） (2025-10-13T06:46:43Z)
Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文参考訳（メタデータ） (2025-05-26T15:27:55Z)
CSPLADE: Learned Sparse Retrieval with Causal Language Models [12.930248566238243]
学習スパース検索(LSR)のための大規模言語モデル(LLM)の訓練における2つの課題を特定する。本研究では,(1)トレーニング不安定を解消するための軽量適応訓練フェーズ,(2)双方向情報を実現するための2つのモデル変種を提案する。これらの手法により,LSRモデルを8BスケールのLLMで学習し,インデックスサイズを縮小した競合検索性能を実現することができる。
論文参考訳（メタデータ） (2025-04-15T02:31:34Z)
Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [49.61246073215651]
大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。しかし、冗長な出力と冗長な出力による計算オーバーヘッドも大幅に発生する。
論文参考訳（メタデータ） (2025-03-20T17:59:38Z)
Boosting LLM-based Relevance Modeling with Distribution-Aware Robust Learning [14.224921308101624]
本稿では,関係モデリングのための新しい分布認識ロバスト学習フレームワーク(DaRL)を提案する。 DaRLはAlipayの保険商品検索のためにオンラインで展開されている。
論文参考訳（メタデータ） (2024-12-17T03:10:47Z)
Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文参考訳（メタデータ） (2024-11-20T17:55:38Z)
Best Practices for Distilling Large Language Models into BERT for Web Search Ranking [14.550458167328497]
LLM(Large Language Models)は、潜在的文書のランク付けリストを生成する。 LLMのランキングの専門知識をBERTのようなよりコンパクトなモデルに移行し、ランキングの損失を利用して、リソース集約の少ないモデルのデプロイを可能にします。 2024年2月現在,我々のモデルは商用ウェブ検索エンジンに統合されている。
論文参考訳（メタデータ） (2024-11-07T08:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。