論文の概要: Equip Pre-ranking with Target Attention by Residual Quantization

• arxiv url: http://arxiv.org/abs/2509.16931v1
• Date: Sun, 21 Sep 2025 05:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.041053
• Title: Equip Pre-ranking with Target Attention by Residual Quantization
• Title（参考訳）: 残差量子化による目標注意型エクササイズ
• Authors: Yutong Li, Yu Zhu, Yichen Qiao, Ziyu Guan, Lv Shao, Tong Liu, Bo Zheng,
• Abstract要約: TARQは、産業レコメンデーションシステムのための新しいプレグレードのフレームワークである。 当社のモデルは本番環境に完全にデプロイされており、毎日数千万人のアクティブユーザが利用しています。
• 参考スコア（独自算出の注目度）: 28.523618960969472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pre-ranking stage in industrial recommendation systems faces a fundamental conflict between efficiency and effectiveness. While powerful models like Target Attention (TA) excel at capturing complex feature interactions in the ranking stage, their high computational cost makes them infeasible for pre-ranking, which often relies on simplistic vector-product models. This disparity creates a significant performance bottleneck for the entire system. To bridge this gap, we propose TARQ, a novel pre-ranking framework. Inspired by generative models, TARQ's key innovation is to equip pre-ranking with an architecture approximate to TA by Residual Quantization. This allows us to bring the modeling power of TA into the latency-critical pre-ranking stage for the first time, establishing a new state-of-the-art trade-off between accuracy and efficiency. Extensive offline experiments and large-scale online A/B tests at Taobao demonstrate TARQ's significant improvements in ranking performance. Consequently, our model has been fully deployed in production, serving tens of millions of daily active users and yielding substantial business improvements.
• Abstract（参考訳）: 産業レコメンデーションシステムの事前段階は、効率性と有効性の間に根本的な対立に直面している。 ターゲット・アテンション(TA)のような強力なモデルは、ランク付け段階における複雑な特徴的相互作用を捉えるのに優れているが、その高い計算コストは、しばしば単純化されたベクトル積モデルに依存する序列モデルでは実現不可能である。 この格差は、システム全体の大きなパフォーマンスボトルネックを生み出します。 このギャップを埋めるために、我々は新しいプレグレードフレームワークであるTARQを提案する。 生成モデルにインスパイアされたTARQの鍵となる革新は、Residual QuantizationによってTAに近似したアーキテクチャを事前設定することである。 これにより、TAのモデリング能力を初めてレイテンシクリティカルなプレグレードステージに持ち込み、精度と効率の新たな最先端のトレードオフを確立することができます。 Taobaoでの大規模なオフライン実験と大規模なオンラインA/Bテストは、TARQがランキングパフォーマンスを大幅に改善したことを示している。 その結果、当社のモデルは本番環境に完全にデプロイされ、毎日数千万人のアクティブユーザを提供し、実質的なビジネス改善を実現しています。

関連論文リスト

• KAT-V1: Kwai-AutoThink Technical Report [50.84483585850113]
  Kwaipilot-AutoThink (KAT) はオープンソースの40B大言語モデルであり、推論集約タスクにおける過大な問題に対処するために開発された。 KATはタスクの複雑さに基づいて推論モードと非推論モードを動的に切り替える。 また、GRPOフレームワークに中間管理を組み込んだ強化学習アルゴリズムであるStep-SRPOを提案する。
  論文  参考訳（メタデータ） (2025-07-11T04:07:10Z)
• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)を用いて,より効率的な長文処理を実現する。 本稿ではまず,変圧器の非効率性を注目シンク現象とみなす。 我々は、ソフトマックスをシグモイド関数に置き換え、効率的な情報圧縮と保持のためにバランスの取れたALiBiとRotary Position Embeddingを利用する。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• From Features to Transformers: Redefining Ranking for Scalable Impact [6.656478617123893]
  LiGRはLinkedInが開発した大規模ランキングフレームワークである。 本稿では,学習の正規化とユーザ履歴とランキング項目への同時注意を取り入れた改良型トランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-05T18:02:01Z)
• RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model [0.0]
  大規模ランキングシステムでは、効率性と効率性のバランスをとるためにカスケードアーキテクチャが広く採用されている。 オンラインレイテンシの制約に従うために、効率性と精度のバランスを維持することは、プレグレードモデルにとって不可欠である。 そこで我々は,ユーザとイテムのインタラクションを効率的に捉えるために,RangeTowerという新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-17T08:07:37Z)
• Optimizing E-commerce Search: Toward a Generalizable and Rank-Consistent Pre-Ranking Model [13.573766789458118]
  大規模なeコマースプラットフォームでは、ダウンストリームランキングモジュールのために、前もって製品の大部分をフィルタリングするために、プレグレードフェーズが不可欠である。 1) 製品がトップk内にあるかどうかを予測する複数のバイナリ分類タスクを導入し、共通のポイントワイドランキングモデルでの学習目標の追加を容易にする。2) 製品埋め込みのサブセットを事前トレーニングすることで、すべての製品に対するコントラスト学習による一般化性。
  論文  参考訳（メタデータ） (2024-05-09T07:55:52Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Efficient pre-training objectives for Transformers [84.64393460397471]
  本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。 マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
  論文  参考訳（メタデータ） (2021-04-20T00:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。