論文の概要: Scaling and Stabilizing Large-Scale Embedding-Based Retrieval

• arxiv url: http://arxiv.org/abs/2607.10096v1
• Date: Sat, 11 Jul 2026 03:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.301066
• Title: Scaling and Stabilizing Large-Scale Embedding-Based Retrieval
• Title（参考訳）: 大規模埋め込みベース検索のスケールアップと安定化
• Abstract要約: 我々は、信号品質とモデル進化の両方に対処する統合パイプラインをウォルマートに展開する。 ドメイン固有の専門知識をレガシモデルから新しいバックボーンに転送するワームスタート蒸留技術を導入する。 提案されたパイプラインは実運用で展開され、NDCG@5で+7.34%改善され、収益で+0.50%上昇した。
• 参考スコア（独自算出の注目度）: 16.34687313227663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding-based retrieval (EBR) is foundational to large-scale e-commerce search, yet its effectiveness is often constrained by the quality of training signals and the representational capacity of the encoder. Standard dual-encoders suffer from a training-inference gap: they are optimized on narrow candidate pools but must discriminate against hundreds of millions of items during inference. Furthermore, while transitioning to higher-capacity backbones can mitigate this gap, simply replacing a mature model can lead to inconsistent retrieval behavior and a loss of the domain-specific knowledge established in previous iterations. In this paper, we present a unified pipeline deployed at Walmart that addresses both signal quality and model evolution. Our contributions are two-fold: (1) Hybrid Hard Negative Mining: We integrate Online Cross-Batch Sampling to increase negative diversity by an order of magnitude and Hybrid Offline Mining, which combines cross-encoder predictions with metadata heuristics to identify nuanced mismatches. (2) Legacy-Aware Distillation: We transition from DistilBERT to a higher-capacity GTE-base encoder. To ensure a smooth and superior transition, we introduce a Warm-Start Distillation technique that transfers domain-specific expertise from the legacy model to the new backbone. Validated through extensive offline experiments and online A/B testing, the proposed pipeline is deployed in live production, delivering a +7.34% improvement in NDCG@5 and a +0.50% lift in gross revenue.
• Abstract（参考訳）: 埋め込みベースの検索(EBR)は大規模なeコマース検索の基礎となっているが、その効果は訓練信号の品質やエンコーダの表現能力によって制約されることが多い。 標準的なデュアルエンコーダはトレーニングと推論のギャップに悩まされ、狭い候補プールに最適化されているが、推論中に何億ものアイテムを識別しなければならない。 さらに、高容量のバックボーンへの移行は、このギャップを軽減することができるが、成熟したモデルを置き換えるだけで、一貫性のない検索行動や、以前のイテレーションで確立されたドメイン固有の知識の喪失につながる可能性がある。 本稿では、信号品質とモデル進化の両方に対処する統合パイプラインをウォルマートに展開する。 ハイブリッド・ハード・ネガティブ・マイニング(Hybrid Hard Negative Mining:Hybrid Offline Mining:Hybrid Offline Mining): クロスエンコーダ予測とメタデータヒューリスティックを組み合わせることで,不一致を識別する。 2) レガシー・アウェア蒸留: DistilBERT から高容量 GTE-base エンコーダへ移行する。 スムーズで優れた遷移を保証するために、ドメイン固有の専門知識をレガシーモデルから新しいバックボーンに転送するワームスター蒸留技術を導入します。 大規模なオフライン実験とオンラインA/Bテストを通じて検証され、提案されたパイプラインはライブプロダクションにデプロイされ、NDCG@5で+7.34%、収益で+0.50%向上した。

関連論文リスト

• Douyin Multimodal Embedding Model Technical Report [77.9018834072698]
  マルチモーダル表現学習は、現代のAIの基盤となっている。 両強度を組み合わせた2段階のモデルであるDME(Douyin Multimodal Embedding)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T12:31:49Z)
• MESH: Scaling Up Retrieval with Heterogeneous Content Unification [2.7340856806188447]
  MESHは、ヘテロジニティのスケーリングバイアスを緩和する統合された検索スケーリングフレームワークである。 特徴空間を独立した領域に分割することにより、MESHは、スパースイテム信号と高周波エンゲージメント特徴の間の干渉を低減する構造的帰納バイアスを強制する。 この結果から,MESHは断片化検索基盤を,よりスケーラブルでエコシステムに配慮したバックボーンに統合するための,有望なパラダイムであることが示唆された。
  論文  参考訳（メタデータ） (2026-07-14T06:12:26Z)
• DUET -- Dual User Embedding Transformers for Offsite Conversion Prediction [8.972672149050627]
  計算レコメンデーションシステムにおいて,オフサイト変換率(OCVR)予測は重要なランキング問題である。 このタスクは、クリック信号が豊富で、短い時間的水平線を示すのに対して、変換信号は本質的に疎く、長い遅延があり、しばしば未配布である。 ユーザ行動データを2つのドメインコヒーレントなストリーム – クリックと変換 – に明示的に分割するフレームワークであるDUETを提案する。
  論文  参考訳（メタデータ） (2026-06-08T23:13:58Z)
• Unlocking High-Fidelity Analog Joint Source-Channel Coding on Standard Digital Transceivers [54.82164616081277]
  D2AJSCCは、標準デジタルPHY上に高忠実度アナログJ SCCをデプロイできる新しいフレームワークである。 本システムは,SNR条件にまたがる優雅な劣化を伴って,ほぼ理想のアナログJ SCC性能を実現する。 ハードウェア変更なしにレガシーインフラストラクチャ上で次世代のセマンティックトランスミッションを可能にすることで,ネットワークの持続的進化を促進する。
  論文  参考訳（メタデータ） (2026-03-10T01:42:23Z)
• Switch-Hurdle: A MoE Encoder with AR Hurdle Decoder for Intermittent Demand Forecasting [0.0]
  断続的な需要は小売とサプライチェーンの予測において永続的な課題である。 本稿では,Mixture-of-Experts(MoE)エンコーダとHurdleベースの確率的デコーダを統合する新しいフレームワークであるSwitch-Hurdleを紹介する。
  論文  参考訳（メタデータ） (2026-02-26T07:03:19Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Apriel-H1: Towards Efficient Enterprise Reasoning Models [6.630534140883356]
  ハイブリッドLLMのApriel-H1ファミリーは、15Bモデルサイズでの効率的な推論のためにトランスフォーマーアテンションとSSMシークエンスミキサーを組み合わせた。 SSM-to-MHA比の異なるApriel-H1-15B-Thinkerの蒸留後変種を複数リリースし、より多くのマンバ層がMHAに置き換わるにつれて、推論性能が劣化するかを分析した。
  論文  参考訳（メタデータ） (2025-11-04T15:17:43Z)
• MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation [44.05859062614669]
  MiniOneRecは、最初の完全なオープンソースジェネレーティブレコメンデーションフレームワークである。 SID構築にまたがるエンドツーエンドワークフロー、教師付き微調整、レコメンデーション指向の強化学習を提供する。 実験の結果,モデルサイズの増加に伴い,トレーニングと評価の両方の損失が一貫した下降傾向を示した。
  論文  参考訳（メタデータ） (2025-10-28T13:58:36Z)
• Dual encoding feature filtering generalized attention UNET for retinal vessel segmentation [3.016046646886431]
  DEFFA-Unetは、ドメイン不変のプリプロセス入力を処理するエンコーダが追加されている。 精密な特徴フィルタリングとロバストなハイブリッド特徴融合を保証するため、特徴フィルタリング融合モジュールが開発された。 データ不足と分散不均衡に対処するために、革新的なデータ拡張とバランスの手法が提案されている。
  論文  参考訳（メタデータ） (2025-06-02T23:01:15Z)
• Few-Step Diffusion via Score identity Distillation [67.07985339442703]
  拡散蒸留は, テキスト・ツー・イメージ(T2I)拡散モデルを促進するための有望な戦略として浮上している。 既存の方法は、高分解能T2I拡散モデルを蒸留する際に、実像や教師合成画像に頼っている。 教師のCFGを無効にし、偽スコアネットワークでテキストコンディショニングを除去するZero-CFGと、偽スコアネットワークで否定的なCFGを適用するAnti-CFGの2つの新しいガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-19T03:45:16Z)
• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。