論文の概要: Scaling Dense Retrieval with LLM-Annotated Training Data: Structured Mining and Progressive Curriculum for E-Commerce Sponsored Search

• arxiv url: http://arxiv.org/abs/2606.23911v1
• Date: Mon, 22 Jun 2026 20:19:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.648941
• Title: Scaling Dense Retrieval with LLM-Annotated Training Data: Structured Mining and Progressive Curriculum for E-Commerce Sponsored Search
• Title（参考訳）: LLMアノテートトレーニングデータによるDense Retrievalのスケーリング:Eコマーススポンサー検索のための構造化マイニングとプログレッシブカリキュラム
• Authors: Md Omar Faruk Rokon, Shasvat Desai, Jhalak Nilesh Acharya, Isha Shah, Kumar Priyam, Brahanyaa Somasundaram, Vamsee Tangirala, Minuteresa Thomas, Vivek Arora, Vijay Manchi, Hong Yao, Kuang-chih Lee,
• Abstract要約: クリック信号や手動のアノテーションに頼ることなく、高密度検索モデルの高品質なトレーニングデータを生成する方法を示す。 トレーニングされた2tower BERTモデルをWalmartのスポンサー付き検索にデプロイし、トレーニングされたサードパーティのアノテータによってラベル付けされた30Kクエリに対して評価する。 このシステムは,クリック訓練された生産ベースラインに対して+5.1%のNDCG@10を達成し,テールクエリの最大増加率を示す。
• 参考スコア（独自算出の注目度）: 4.369711604105306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we generate high-quality training data for dense retrieval models at production scale, without relying on click signals or manual annotation? This question is critical for e-commerce sponsored search, where click-based training suffers from position bias and tail-query sparsity, and manual labeling at the scale of hundreds of millions of query-item pairs is economically infeasible. Our work is driven by the following insight: heterogeneous retrieval systems disagree on most items they retrieve, and this disagreement creates a natural source of structured training signal -- easy positives where all systems agree, hard positives that only lexical systems find, and hard negatives that fool exactly one system. As our key novelty, we combine three ideas into an end-to-end pipeline: (a) multi-channel retrieval mining with rank metadata from three production systems, (b) graded-relevance annotation by a calibrated three-model cascade ) that reaches 89.1% agreement with trained human annotators, and (c) three-stage progressive curriculum training that organizes 240M+ training examples across five difficulty levels. We deploy the trained two-tower BERT model on Walmart's sponsored search and evaluate it against 30K queries labeled by trained third-party human annotators. First, we show that the system achieves +5.1% NDCG@10 over the click-trained production baseline, with the largest gain on tail queries . Second, we show that embarrassing retrievals (rating 0) drop from 8.7% to 3.5%. Third, a two-week online A/B test with tens of millions of ad requests per arm confirms +2.80% ad spend, +1.4% CTR, +2.8% eCPM, and +2.9% click conversion rate. Overall, our work provides a practical and scalable blueprint for replacing click-based training with structured LLM-annotated supervision in production retrieval systems.
• Abstract（参考訳）: クリック信号や手動のアノテーションを使わずに、どうやって高密度検索モデルの高品質なトレーニングデータを生成することができるのか? この問題は、クリックベースのトレーニングが位置バイアスやテールクェリの間隔に悩まされているEコマースによる検索にとって重要であり、数億のクエリ-イムペアの規模での手動ラベリングは経済的に不可能である。 異質な検索システムは、取得するほとんどの項目に異を唱え、この不一致は、構造化されたトレーニング信号の自然なソースを生み出します。 重要なノベルティとして、私たちは3つのアイデアをエンドツーエンドのパイプラインにまとめています。 (a)3つの生産システムからのランクメタデータによるマルチチャネル検索マイニング b) 訓練されたヒトアノテータとの89.1%の合意に達した校正3モデルカスケードによる格付け関連アノテーション (c)5つの難易度で240万以上の研修例を編成する3段階の累進カリキュラム研修。 トレーニングされた2tower BERTモデルをWalmartのスポンサー付き検索にデプロイし、トレーニングされたサードパーティのアノテータによってラベル付けされた30Kクエリに対して評価する。 まず,5.1%のNDCG@10をクリック訓練した生産ベースラインで達成し,テールクエリの最大増加率を示す。 第2に、恥ずかしい検索(0)は8.7%から3.5%に減少した。 第3に、腕に数千万の広告要求がある2週間のオンラインA/Bテストでは、+2.80%の広告支出、+1.4%のCTR、+2.8%のeCPM、+2.9%のクリックコンバージョン率が確認されている。 全体として、本研究は、クリックベースのトレーニングを実運用システムにおけるLLMアノテートされた監視システムに置き換えるための実用的でスケーラブルな青写真を提供する。

関連論文リスト

• HARNESS-LM: A Three-Phase Training Recipe for Harnessing SLMs in Sponsored Search Retrieval [6.331584045026755]
  本稿では,大規模レトリバーの能力をコンパクトでコスト効率のよいモデルに変換するためのトレーニングフレームワークを提案する。 HLMは参照レトリバーの精度の98%以上を複数の設定で回復する。 実世界のBing Ads評価ベンチマークでは、HLMは最大27倍のオンラインクエリエンコーダレイテンシと20倍のスループットを回復する。
  論文  参考訳（メタデータ） (2026-05-22T12:39:56Z)
• Negative Data Mining for Contrastive Learning in Dense Retrieval at IKEA.com [0.5371337604556311]
  本稿では,構造的負のサンプリング戦略を用いて,IKEA製品検索の高密度検索を改善するための体系的アプローチを提案する。 本手法は,カナダ市場でのオフライン実ユーザクエリ実験において,平均カテゴリ精度+2.6%を達成している。 長テールクエリに対するA/Bテストでは、改善されたモデルとベースラインモデルの間のユーザエンゲージメントの指標に統計的に有意な差は見られなかった。
  論文  参考訳（メタデータ） (2026-05-01T02:32:02Z)
• Socratic-Zero : Bootstrapping Reasoning via Data-Free Agent Co-evolution [11.474213670364572]
  Socratic-Zeroは、最小限のシード例から高品質なトレーニングデータを生成する、完全に自律的なフレームワークである。 このシステムは、既存のタスクやラベルを必要とせずに、自己改善カリキュラムを生成する。 Socratic-r-8Bは、以前のデータ合成法よりも平均的に+20.2ポイント向上する。
  論文  参考訳（メタデータ） (2025-09-29T12:54:07Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Unearthing Skill-Level Insights for Understanding Trade-Offs of Foundation Models [61.467781476005435]
  集約精度を検査する際には、スキルワイドのパフォーマンスが不明確になる。 モデル生成論理を検査することで,任意の評価事例に関連する基礎的スキルを復元する自動手法を提案する。 私たちのスキルスライスとフレームワークは、モデル評価の新しい道を開き、スキル固有の分析を活用して、よりきめ細やかで実用的なモデル機能の理解を解き放ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:51:40Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [51.87391234815163]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling [37.01593605084575]
  TAS-Balancedは、効率的なトピック認識クエリとバランスの取れたマージンサンプリング技術です。 本稿では,2つのTRECディープラーニングトラッククエリセットに対して,最先端の低レイテンシ(クエリ毎64ms)を実現するTAS-Balancedトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-14T16:49:18Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。