論文の概要: SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce
- arxiv url: http://arxiv.org/abs/2608.19595v1
- Date: Thu, 20 Aug 2026 03:19:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.440556
- Title: SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce
- Title（参考訳）: SSR-GRPO:Eコマースにおける高密度検索のための強化学習へのスーパービジョンとセマンティックIDの統合
- Abstract要約: 埋め込みベースの検索(EBR)はeコマース検索において重要であるが、複雑な意味論に苦しむことが多い。
近年,表現学習のための大規模言語モデル (LLM) が注目されている。
SSR-GRPO (Supervised Retrieval-GRPO with Semantic Identifiers) を提案する。
- 参考スコア（独自算出の注目度）: 4.188658309210585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding-based retrieval (EBR) is pivotal in e-commerce search but often struggles with complex semantics. While recent methods often fine-tune large language models (LLMs) for representation learning, they typically lack robust mechanisms for handling complex and implicit semantics. While Retrieval-GRPO (R-GRPO) recently introduced reinforcement learning to dense retrieval, it suffers from noisy top-K candidates due to limited batch sampling and biased relevance assessments caused by using similarly trained LLMs as reward models. To tackle these issues, we propose Supervised Retrieval-GRPO with Semantic Identifiers (SSR-GRPO). Specifically, our method first proposes a dual-perspective framework for relevance assessment. It leverages both Semantic Identifiers (SIDs) produced by quantization learning and dense representation vectors to generate more unbiased relevance scores. Furthermore, leveraging the hierarchical similarity relationships of the generated SIDs, we mine a set of hard negative samples that serve two purposes: (1) to design a masking function integrated into R-GRPO, effectively filtering intra-group noisy samples; and (2) to construct a Retrieval-DPO task composed of positive and negative sample pairs, enabling the model to capture fine-grained semantic distinctions from a pair-wise perspective. By integrating these optimization strategies, we propose SSR-GRPO. Extensive offline and online experiments validate SSR-GRPO's effectiveness, and it has been deployed on a large-scale e-commerce platform.
- Abstract（参考訳）: 埋め込みベースの検索(EBR)はeコマース検索において重要であるが、複雑な意味論に苦しむことが多い。
最近の手法は、表現学習のための大きな言語モデル(LLM)を微調整することが多いが、一般的には複雑で暗黙的な意味論を扱うための堅牢なメカニズムが欠如している。
Retrieval-GRPO(R-GRPO)は近年、高密度検索に強化学習を導入したが、バッチサンプリングの制限や、同様の訓練されたLLMを報酬モデルとして使用することで生じる相関性評価により、ノイズの多いトップK候補に悩まされている。
これらの問題に対処するため,SSR-GRPO (Supervised Retrieval-GRPO with Semantic Identifiers) を提案する。
具体的には、まず、関連性評価のための二重パースペクティブフレームワークを提案する。
量子化学習(quantization learning)と密度表現ベクトル(dentifier)によって生成されるセマンティック識別子(SID)の両方を利用して、よりバイアスのない関連スコアを生成する。
さらに、生成したSIDの階層的類似性関係を利用して、(1)R-GRPOに統合されたマスキング関数を設計し、グループ内ノイズを効果的にフィルタリングすること、(2)正と負のサンプルペアからなる検索型-DPOタスクを構築すること、という2つの目的を果たすハードネガティブサンプルの集合を抽出し、モデルがペアワイズの観点からきめ細かなセマンティックな区別を捉えることを可能にする。
これらの最適化戦略を統合することにより,SSR-GRPOを提案する。
大規模なオフラインおよびオンライン実験により、SSR-GRPOの有効性が検証され、大規模なeコマースプラットフォームにデプロイされている。
関連論文リスト
- Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval [17.695551248974215]
UniME-R1は、最初に検索された候補を推論することを学ぶ組込みアドバイザフレームワークである。
UniME-R1は、強いベースライン上での検索性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-08-06T14:04:56Z) - Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation [5.263138429758972]
本稿では,Multimodal Retrieval (MAGMaR)によるマルチモーダル生成に関する第2回ワークショップのシステム記述について述べる。
言語間の長いビデオ理解,厳密なペルソナの定着,ゼロ・ハロシン化時間的接地といった重要な課題に対処するため,2段階のビデオRAGパイプラインを提案する。
我々のアーキテクチャは、認知的論理的推論から、モダリティを意識した分業を通じて意味的検索を戦略的に分離する。
論文 参考訳（メタデータ） (2026-06-06T01:17:40Z) - R2LED: Equipping Retrieval and Refinement in Lifelong User Modeling with Semantic IDs for CTR Prediction [23.668401664583758]
セマンティックIDを用いた生涯ユーザモデリング(R2LED)における検索と改善のための新しいパラダイムを提案する。
まず,検索段階における複数経路混合検索手法を提案する。一方,協調的視点と意味的視点の両方から効率よく候補を検索する混合検索機構を提案する。
改良のために,経路レベル核融合のための目標認識型クロスアテンションとSIDレベル核融合のためのゲート機構を含むBiレベル核融合リファインメントを設計する。
論文 参考訳（メタデータ） (2026-02-06T11:27:20Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - TaoSearchEmb: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search [11.893855231479717]
Retrieval-GRPOは強化学習に基づく高密度検索フレームワークである。
中国最大のeコマースプラットフォームに配備されている。
論文 参考訳（メタデータ） (2025-11-17T20:16:52Z) - Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。
一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。
E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-28T17:50:40Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳（メタデータ） (2025-10-03T08:50:21Z) - iEBAKER: Improved Remote Sensing Image-Text Retrieval Framework via Eliminate Before Align and Keyword Explicit Reasoning [80.44805667907612]
iEBAKERは、弱い相関のサンプルペアをフィルタリングする革新的な戦略である。
SAR(Sort After Reversed Retrieval)戦略の代替として,SAR(Sort After Retrieval)戦略を導入する。
キーワード明示型推論(KER)モジュールを組み込んで、微妙なキー概念の区別による有益な影響を促進する。
論文 参考訳（メタデータ） (2025-04-08T03:40:19Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳（メタデータ） (2023-01-17T12:42:58Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。