論文の概要: COLD: Towards the Next Generation of Pre-Ranking System
- arxiv url: http://arxiv.org/abs/2007.16122v2
- Date: Mon, 17 Aug 2020 13:13:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 06:13:09.473349
- Title: COLD: Towards the Next Generation of Pre-Ranking System
- Title（参考訳）: COLD:次世代プレランキングシステムを目指して
- Authors: Zhe Wang, Liqin Zhao, Biye Jiang, Guorui Zhou, Xiaoqiang Zhu, Kun Gai
- Abstract要約: 我々は、プレグレードモデルとコストの計算能力の双方を共同で最適化することで、新しいプレグレードシステムを設計する。
コールターはSOTAを3倍に打ち負かす: (i) クロス特徴を持つ任意のディープモデルを制御可能な計算電力コストの制約の下でCOLDに適用することができる。
Colderはオンライン学習と厳格なやり方で働き、データ分散シフトの課題に対処する優れた能力を提供する。
- 参考スコア（独自算出の注目度）: 21.67922611588918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-stage cascade architecture exists widely in many industrial systems
such as recommender systems and online advertising, which often consists of
sequential modules including matching, pre-ranking, ranking, etc. For a long
time, it is believed pre-ranking is just a simplified version of the ranking
module, considering the larger size of the candidate set to be ranked. Thus,
efforts are made mostly on simplifying ranking model to handle the explosion of
computing power for online inference. In this paper, we rethink the challenge
of the pre-ranking system from an algorithm-system co-design view. Instead of
saving computing power with restriction of model architecture which causes loss
of model performance, here we design a new pre-ranking system by joint
optimization of both the pre-ranking model and the computing power it costs. We
name it COLD (Computing power cost-aware Online and Lightweight Deep
pre-ranking system). COLD beats SOTA in three folds: (i) an arbitrary deep
model with cross features can be applied in COLD under a constraint of
controllable computing power cost. (ii) computing power cost is explicitly
reduced by applying optimization tricks for inference acceleration. This
further brings space for COLD to apply more complex deep models to reach better
performance. (iii) COLD model works in an online learning and severing manner,
bringing it excellent ability to handle the challenge of the data distribution
shift. Meanwhile, the fully online pre-ranking system of COLD provides us with
a flexible infrastructure that supports efficient new model developing and
online A/B testing.Since 2019, COLD has been deployed in almost all products
involving the pre-ranking module in the display advertising system in Alibaba,
bringing significant improvements.
- Abstract（参考訳）: マルチステージカスケードアーキテクチャは、レコメンデーションシステムやオンライン広告など、多くの産業システムにおいて広く存在し、マッチング、事前ランク付け、ランキングなどの逐次モジュールで構成されることが多い。
長い間、事前ランク付けは単にランキングモジュールの簡易版であると考えられており、候補セットのより大きなサイズがランク付けされるのを考慮に入れている。
したがって,オンライン推論における計算能力の爆発的増加に対処するため,ランキングモデルを簡素化する努力が主である。
本稿では,アルゴリズム-システム共設計の観点から,事前評価システムの課題を再考する。
本稿では,モデル性能の低下を引き起こすモデルアーキテクチャの制約を伴って,計算力を節約する代わりに,プレグレードモデルとコストの計算能力の両面を最適化して,新しいプレグレードシステムを設計する。
これをcold(電力コスト対応のオンラインシステムと軽量のディーププレグレードシステム)と名付けます。
COLDはSOTAを3倍に上回る。
i) 制御可能な計算電力コストの制約の下で, COLD にクロス特徴を持つ任意の深部モデルを適用することができる。
(ii) 推論加速度の最適化手法を適用することにより、計算電力コストを明示的に削減する。
これにより、さらに複雑な深層モデルを適用するためのcoldのスペースが向上し、パフォーマンスが向上する。
(三)COLDモデルはオンライン学習と厳密な方法で機能し、データ分散シフトの課題に対処する能力に優れたものである。
一方、完全なオンラインプレランクシステムであるcoldは、効率的な新しいモデルの開発とオンラインa/bテストをサポートする柔軟なインフラストラクチャを提供する。2019年以来、coldはalibabaのディスプレイ広告システムにおけるプレランクモジュールを含むほぼすべての製品にデプロイされ、大幅に改善されている。
関連論文リスト
- Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z) - RankTower: A Synergistic Framework for Enhancing Two-Tower Pre-Ranking Model [0.0]
大規模ランキングシステムでは、効率性と効率性のバランスをとるためにカスケードアーキテクチャが広く採用されている。
オンラインレイテンシの制約に従うために、効率性と精度のバランスを維持することは、プレグレードモデルにとって不可欠である。
そこで我々は,ユーザとイテムのインタラクションを効率的に捉えるために,RangeTowerという新しいニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-07-17T08:07:37Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Optimizing E-commerce Search: Toward a Generalizable and Rank-Consistent Pre-Ranking Model [13.573766789458118]
大規模なeコマースプラットフォームでは、ダウンストリームランキングモジュールのために、前もって製品の大部分をフィルタリングするために、プレグレードフェーズが不可欠である。
1) 製品がトップk内にあるかどうかを予測する複数のバイナリ分類タスクを導入し、共通のポイントワイドランキングモデルでの学習目標の追加を容易にする。2) 製品埋め込みのサブセットを事前トレーニングすることで、すべての製品に対するコントラスト学習による一般化性。
論文 参考訳（メタデータ） (2024-05-09T07:55:52Z) - Rethinking Large-scale Pre-ranking System: Entire-chain Cross-domain
Models [0.0]
既存の事前のアプローチは主に、チェーン全体のデータ依存を無視しているため、サンプル選択バイアスの問題に対処する。
本稿では,カスケードステージ全体のサンプルを有効活用し,SSB問題を効果的に緩和するEntire-chain Cross-domain Models (ECM)を提案する。
また,先行精度を向上させるために,ECMMという微細なニューラルネットワーク構造を提案する。
論文 参考訳（メタデータ） (2023-10-12T05:14:42Z) - COPR: Consistency-Oriented Pre-Ranking for Online Advertising [27.28920707332434]
オンライン広告のための一貫性指向のプレグレードフレームワークを提案する。
チャンクベースのサンプリングモジュールとプラグアンドプレイのランクアライメントモジュールを使用して、ECPMでランク付けされた結果の一貫性を明示的に最適化する。
Taobaoのディスプレイ広告システムに展開すると、最大で+12.3%のCTRと+5.6%のRPMを実現している。
論文 参考訳（メタデータ） (2023-06-06T09:08:40Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of
Models [90.6485663020735]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。
我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
論文 参考訳（メタデータ） (2021-08-07T12:03:14Z) - Online Adaptive Learning for Runtime Resource Management of
Heterogeneous SoCs [15.523246628432654]
本稿では、模倣学習(IL)と明示的非線形モデル予測制御(NMPC)の2つの近代的アプローチを用いたオンライン制御における予測モデルの使用について述べる。
16のベンチマークによる商用モバイルプラットフォームの評価は、ILアプローチが制御ポリシーを未知のアプリケーションに適用することに成功していることを示している。
明示的なNMPCは、最新のGPUサブシステムの多変数電力管理のための最先端のアルゴリズムと比較して25%の省エネを提供する。
論文 参考訳（メタデータ） (2020-08-22T01:39:32Z) - Superiority of Simplicity: A Lightweight Model for Network Device
Workload Prediction [58.98112070128482]
本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。
ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。
利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
論文 参考訳（メタデータ） (2020-07-07T15:44:16Z) - Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic
Circuits [99.59941892183454]
我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。
中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。
本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
論文 参考訳（メタデータ） (2020-04-13T23:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。