論文の概要: Real-Time Hard Negative Sampling via LLM-based Clustering for Large-Scale Two-Tower Retrieval

• arxiv url: http://arxiv.org/abs/2607.00448v2
• Date: Mon, 06 Jul 2026 17:02:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 17:33:48.778914
• Title: Real-Time Hard Negative Sampling via LLM-based Clustering for Large-Scale Two-Tower Retrieval
• Title（参考訳）: 大規模2tower検索のためのLCMクラスタリングによるリアルタイムハード負サンプリング
• Authors: Ivan Ji, Liuyi Hu, Harrison, Zhao, Lei Huang, Qunshu Zhang, Max, Fan, Aameek Singh,
• Abstract要約: 2towerモデルは大規模レコメンデーションシステムに広く利用されている。 2towerモデルのトレーニングの業界標準は、通常、バッチ内および/またはバッチ外ネガティブサンプリングを含む。 大規模言語モデルを利用した自己監督型ハードネガティブサンプリング手法が提案されている。
• 参考スコア（独自算出の注目度）: 6.945551949047715
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The two-tower model has been widely used for large-scale recommendation systems, particularly in the retrieval stage. Industry standards for training two-tower models typically involve in-batch and/or out-of-batch negative sampling. However, these methods often produce easy negatives that models can quickly learn, failing to sufficiently challenge the model. To address this issue, a novel self-supervised hard negative sampling technique is proposed that leverages a large language model (LLM) to generate hard negatives from the same cluster during model training. By utilizing the LLM to learn media representations, the proposed approach ensures that the generated negatives are more challenging and informative. This real-time sampling framework is designed for seamless integration into production models, capable of handling billions of training data points with minimal computational complexity. Experiments on public datasets, along with deployment to a large-scale online system, demonstrate that the proposed negative sampling technique outperforms widely used industry methods. Furthermore, analysis in industrial applications reveals that this sampling method can help break inherent feedback loops in recommendations and significantly reduce popularity bias.
• Abstract（参考訳）: 2-towerモデルは大規模なレコメンデーションシステム、特に検索段階で広く利用されている。 2towerモデルのトレーニングの業界標準は、通常、バッチ内および/またはバッチ外ネガティブサンプリングを含む。 しかしながら、これらの手法は、モデルが素早く学習できるような容易なネガティブを生み出すことが多く、モデルに十分に挑戦することができない。 この問題に対処するために,大規模言語モデル(LLM)を利用してモデルトレーニング中に同一クラスタから強陰性を生成する,新たな自己教師型ハードネガティブサンプリング手法を提案する。 LLMを利用してメディア表現を学習することにより、提案手法は生成した負がより困難で情報的であることを保証する。 このリアルタイムサンプリングフレームワークは、何十億ものトレーニングデータポイントを最小限の計算量で処理できる実運用モデルへのシームレスな統合のために設計されている。 パブリックデータセットの実験は、大規模なオンラインシステムへの展開とともに、提案されたネガティブサンプリング技術が広く使われている業界手法より優れていることを示す。 さらに, 産業応用における分析から, このサンプリング手法は, 推薦における固有フィードバックループを破り, 人気バイアスを著しく低減するのに有効であることが明らかとなった。

関連論文リスト

• Improving LLM-based Recommendation with Self-Hard Negatives from Intermediate Layers [80.55429742713623]
  ILRecはLLMベースのレコメンデーションシステムのための新しい好みの微調整フレームワークである。 負の信号に対してトークンレベルの報酬を割り当てるための軽量な協調フィルタリングモデルを提案する。 3つのデータセットの実験は、LLMベースのレコメンデータシステムの性能向上におけるILRecの有効性を示している。
  論文  参考訳（メタデータ） (2026-02-19T14:37:43Z)
• Reasoning with Sampling: Your Base Model is Smarter Than You Think [52.639108524651846]
  本稿では,基本モデル自身の可能性を利用した単純な反復サンプリングアルゴリズムを提案する。 我々のアルゴリズムは、ほぼ一致し、RLのアルゴリズムよりも優れているという推論において、大幅に向上することを示した。 我々の方法は、トレーニング、キュレートされたデータセット、検証器を必要としない。
  論文  参考訳（メタデータ） (2025-10-16T17:18:11Z)
• Enhancing User Sequence Modeling through Barlow Twins-based Self-Supervised Learning [17.299357794051797]
  本稿では,最先端のSSL手法であるBarlow Twinsを,適切な拡張手法を取り入れたユーザシーケンスモデリングに適用することを提案する。 提案手法は,大規模な負のサンプルバッチの必要性を軽減し,より小さなバッチサイズと限られたラベル付きデータによる効果的な表現学習を実現することを目的としている。
  論文  参考訳（メタデータ） (2025-05-02T02:04:52Z)
• Can LLM-Driven Hard Negative Sampling Empower Collaborative Filtering? Findings and Potentials [9.668242919588199]
  強い負のサンプルはモデル収束を加速し、決定境界を最適化する。 本稿ではセマンティックネガティブサンプリングの概念を紹介する。 協調信号によって制御される微調整LDMに基づくHNLMRecというフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-07T04:39:45Z)
• SyNeg: LLM-Driven Synthetic Hard-Negatives for Dense Retrieval [45.971786380884126]
  Dense Search (DR) の性能は, 陰性サンプリングの品質に大きく影響される。 大規模言語モデル(LLM)の最近の進歩は、文脈的にリッチで多様な負のサンプルを生成することで革新的なソリューションを提供する。 本研究では,LLMを用いて高品質な硬質負のサンプルを合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-23T03:49:00Z)
• Rethinking negative sampling in content-based news recommendation [1.5416095780642964]
  ニュースレコメンデーターシステムは、記事の短い寿命によって妨げられている。 近年の研究では、この問題に対処するためのコンテンツベースニューラルネットワークの可能性が実証されている。 本研究では, 否定例の慎重なサンプリングが, モデルの結果に大きな影響を与えることを示唆する。
  論文  参考訳（メタデータ） (2024-11-13T15:42:13Z)
• Enhancing Retrieval Performance: An Ensemble Approach For Hard Negative Mining [0.0]
  本研究は,クロスエンコーダモデルのトレーニングプロセスにおいて,ハードネガティブが果たす重要な役割を説明することに焦点を当てる。 我々は,企業データセット上でのクロスエンコーダ・リランクモデルの効率的なトレーニングのための強硬な負のマイニング手法を開発した。
  論文  参考訳（メタデータ） (2024-10-18T05:23:39Z)
• Generating Negative Samples for Sequential Recommendation [83.60655196391855]
  逐次レコメンデーション(SR)のための負のサンプル(イテム)を生成することを提案する。 アイテムに対する現在のSRモデルの学習されたユーザの好みに基づいて、各タイムステップで負の項目をサンプリングする。 4つの公開データセットの実験は、SRに高品質な負のサンプルを提供することの重要性を検証する。
  論文  参考訳（メタデータ） (2022-08-07T05:44:13Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。