論文の概要: Not All Candidates are Created Equal: A Heterogeneity-Aware Approach to Pre-ranking in Recommender Systems

• arxiv url: http://arxiv.org/abs/2603.03770v1
• Date: Wed, 04 Mar 2026 06:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.202315
• Title: Not All Candidates are Created Equal: A Heterogeneity-Aware Approach to Pre-ranking in Recommender Systems
• Title（参考訳）: すべての候補が等式であるとは限らない: Recommender システムにおける序列への不均一性を考慮したアプローチ
• Authors: Pengfei Tong, Siyuan Chen, Chenwei Zhang, Bo Wang, Qi Pi, Pixun Li, Zuotao Liu,
• Abstract要約: Heterogeneity-Aware Adaptive Pre- grade (HAP) は、競合に敏感なサンプリングを通じて勾配の衝突を緩和する統合フレームワークである。 HAPは、Toutiaoプロダクションシステムに9ヶ月間デプロイされ、ユーザアプリ使用期間を最大0.4%改善した。
• 参考スコア（独自算出の注目度）: 11.849498011182066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most large-scale recommender systems follow a multi-stage cascade of retrieval, pre-ranking, ranking, and re-ranking. A key challenge at the pre-ranking stage arises from the heterogeneity of training instances sampled from coarse-grained retrieval results, fine-grained ranking signals, and exposure feedback. Our analysis reveals that prevailing pre-ranking methods, which indiscriminately mix heterogeneous samples, suffer from gradient conflicts: hard samples dominate training while easy ones remain underutilized, leading to suboptimal performance. We further show that the common practice of uniformly scaling model complexity across all samples is inefficient, as it overspends computation on easy cases and slows training without proportional gains. To address these limitations, this paper presents Heterogeneity-Aware Adaptive Pre-ranking (HAP), a unified framework that mitigates gradient conflicts through conflict-sensitive sampling coupled with tailored loss design, while adaptively allocating computational budgets across candidates. Specifically, HAP disentangles easy and hard samples, directing each subset along dedicated optimization paths. Building on this separation, it first applies lightweight models to all candidates for efficient coverage, and further engages stronger models on the hard ones, maintaining accuracy while reducing cost. This approach not only improves pre-ranking effectiveness but also provides a practical perspective on scaling strategies in industrial recommender systems. HAP has been deployed in the Toutiao production system for 9 months, yielding up to 0.4% improvement in user app usage duration and 0.05% in active days, without additional computational cost. We also release a large-scale industrial hybrid-sample dataset to enable the systematic study of source-driven candidate heterogeneity in pre-ranking.
• Abstract（参考訳）: ほとんどの大規模レコメンデータシステムは、検索、事前ランク付け、ランキング付け、再ランク付けの多段階のカスケードに従っている。 事前ステージにおける重要な課題は、粗い粒度の検索結果、きめ細かいランキング信号、露出フィードバックからサンプリングされたトレーニングインスタンスの不均一性から生じる。 分析の結果,不均一なサンプルを無差別に混合する先行手法が,勾配の衝突に悩まされていることが明らかとなった。 さらに、簡単な場合の計算を過小評価し、比例的なゲインを伴わずにトレーニングを遅らせるため、モデル複雑性を全サンプルに均一にスケーリングするという一般的な実践は非効率であることを示す。 これらの制約に対処するため,HAP(Heterogeneity-Aware Adaptive Pre- grade)を提案する。 具体的には、HAPは簡単でハードなサンプルを分離し、専用の最適化パスに沿って各サブセットを指示する。 この分離に基づいて、まず効率的なカバレッジのためにすべての候補に軽量モデルを適用し、さらにハードモデルに対してより強力なモデルに取り組み、精度を維持しながらコストを削減します。 このアプローチは、事前評価の有効性を向上するだけでなく、産業レコメンデータシステムにおけるスケーリング戦略の実践的な視点も提供する。 HAPは、Toutiaoの生産システムに9ヶ月間デプロイされ、計算コストを増すことなく、ユーザアプリの使用期間を最大0.4%改善し、アクティブな日数は0.05%向上した。 また、大規模産業用ハイブリッドサンプルデータセットを公開し、ソース駆動型候補不均一性の系統的研究を可能にする。

関連論文リスト

• Scaling Adversarial Training via Data Selection [0.0]
  本稿では,各ミニバッチにおける臨界サンプルのサブセットのみを摂動するemphSelective Adversa Trainingを提案する。 MNIST と CIFAR-10 の実験により,提案手法は PGD の完全対向訓練に匹敵する,あるいはそれ以上の堅牢性を達成できることが示された。
  論文  参考訳（メタデータ） (2025-12-26T15:50:33Z)
• VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
  GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。 グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。 textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-24T08:59:54Z)
• Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data? [82.09573568241724]
  EssenceBenchは反復遺伝的アルゴリズム(GA)を利用した粗粒度フレームワーク 提案手法は, 再構成誤差が低く, 効率が著しく向上した, 優れた圧縮結果が得られる。 HellaSwagベンチマーク(10Kサンプル)では,25倍少ないサンプルを用いて,全モデルが5%以内の順位を保ち,わずか200倍少ないサンプルを用いて,95%未満のランキング保持シフトを達成している。
  論文  参考訳（メタデータ） (2025-10-12T05:38:10Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• When Chosen Wisely, More Data Is What You Need: A Universal Sample-Efficient Strategy For Data Augmentation [19.569164094496955]
  両問題を克服するために,Glitterと呼ばれる汎用データ拡張(DA)技術を提案する。 Glitterは、敵DAに類似した最大損失を持つ最悪のサンプルのサブセットを適応的に選択する。 GLUEベンチマーク、SQuAD、HellaSwagの3つの広く使われているトレーニング設定実験により、Glitterはトレーニングが大幅に速く、競争性能が向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2022-03-17T15:33:52Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• Adaptive Experience Selection for Policy Gradient [8.37609145576126]
  経験的再生は、サンプル効率を改善するために一般的に使用されるアプローチである。 過去の軌跡を用いた勾配推定器は、通常、高いばらつきを持つ。 統一サンプリングや優先経験リプレイのような経験リプレイのための既存のサンプリング戦略は、勾配推定のばらつきを明示的に制御しようとするものではない。 本稿では,オンライン学習アルゴリズムである適応的経験選択(AES)を提案し,この分散を明示的に最小化する経験サンプリング分布を適応的に学習する。
  論文  参考訳（メタデータ） (2020-02-17T13:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。