論文の概要: LiRank: Industrial Large Scale Ranking Models at LinkedIn
- arxiv url: http://arxiv.org/abs/2402.06859v1
- Date: Sat, 10 Feb 2024 01:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 18:56:20.046558
- Title: LiRank: Industrial Large Scale Ranking Models at LinkedIn
- Title（参考訳）: LiRank: LinkedInの大規模産業ランキングモデル
- Authors: Fedor Borisyuk, Mingzhou Zhou, Qingquan Song, Siyu Zhu, Birjodh
Tiwana, Ganesh Parameswaran, Siddharth Dangi, Lars Hertel, Qiang Xiao,
Xiaochen Hou, Yunbo Ouyang, Aman Gupta, Sheallika Singh, Dan Liu, Hailing
Cheng, Lei Le, Jonathan Hung, Sathiya Keerthi, Ruoyan Wang, Fengyu Zhang,
Mohit Kothari, Chen Zhu, Daqi Sun, Yun Dai, Xun Luan, Sirou Zhu, Zhiwei Wang,
Neil Daftary, Qianqi Shen, Chengming Jiang, Haichao Wei, Maneesh Varshney,
Amol Ghoting, Souvik Ghosh
- Abstract要約: LiRankはLinkedInの大規模ランキングフレームワークである。
我々はResidual DCNを含むいくつかのモデリングの改善を公表した。
本稿では、フィードランキング、求人推薦、広告クリックスルー率(CTR)予測といった大規模ユースケースに対するデプロイメント設定の詳細について述べる。
- 参考スコア（独自算出の注目度）: 21.41348003097298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present LiRank, a large-scale ranking framework at LinkedIn that brings to
production state-of-the-art modeling architectures and optimization methods. We
unveil several modeling improvements, including Residual DCN, which adds
attention and residual connections to the famous DCNv2 architecture. We share
insights into combining and tuning SOTA architectures to create a unified
model, including Dense Gating, Transformers and Residual DCN. We also propose
novel techniques for calibration and describe how we productionalized deep
learning based explore/exploit methods. To enable effective, production-grade
serving of large ranking models, we detail how to train and compress models
using quantization and vocabulary compression. We provide details about the
deployment setup for large-scale use cases of Feed ranking, Jobs
Recommendations, and Ads click-through rate (CTR) prediction. We summarize our
learnings from various A/B tests by elucidating the most effective technical
approaches. These ideas have contributed to relative metrics improvements
across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76%
qualified job applications for Jobs search and recommendations, and +4.3% for
Ads CTR. We hope this work can provide practical insights and solutions for
practitioners interested in leveraging large-scale deep ranking systems.
- Abstract（参考訳）: これはlinkedinの大規模ランキングフレームワークで、最先端のモデリングアーキテクチャと最適化手法を提供する。
我々は、Residual DCNを含むいくつかのモデリング改善を公開し、有名なDCNv2アーキテクチャへの注意と残留接続を付加した。
sotaアーキテクチャの結合とチューニングに関する洞察を共有し,高密度ゲーティング,トランスフォーマー,残留dcnなど,統一モデルを作成する。
また,新たな校正手法を提案し,Deep Learning based Explor/exploit method の製作方法について述べる。
大規模ランキングモデルの効率的な生産段階提供を可能にするため、量子化と語彙圧縮を用いてモデルを訓練・圧縮する方法を詳述する。
本稿では、フィードランキング、求人推薦、広告クリックスルー率(CTR)予測といった大規模ユースケースに対するデプロイメント設定の詳細について述べる。
様々なA/Bテストから学んだことを,最も効果的な技術的アプローチを解明することによって要約する。
これらのアイデアはLinkedInの取締役会全体の相対的な指標改善に寄与している:+0.5%のフィードのメンバーセッション、+1.76%のジョブアプリケーションとレコメンデーション、+4.3%の広告CTR。
この成果が,大規模な深層ランキングシステムの利用に関心を持つ実践者に対して,実用的な洞察とソリューションを提供することを願っています。
関連論文リスト
- A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。
ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。
当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
論文 参考訳（メタデータ） (2024-11-20T20:38:56Z) - Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文 参考訳（メタデータ） (2024-05-01T11:10:24Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-12-16T17:13:08Z) - Unified Off-Policy Learning to Rank: a Reinforcement Learning
Perspective [61.4025671743675]
メソッドをランク付けするオフポリシー学習は、ユーザがクリックデータを生成する方法に関して、強い仮定をすることが多い。
オフライン強化学習は,複雑なデバイアス手法や事前知識を使わずに,様々なクリックモデルに適応できることを示す。
様々な大規模データセットの結果から、CUOLRはアルゴリズムのランク付けに最先端のオフポリシー学習を一貫して上回っていることが示される。
論文 参考訳（メタデータ） (2023-06-13T03:46:22Z) - Large Language Models in the Workplace: A Case Study on Prompt
Engineering for Job Type Classification [58.720142291102135]
本研究では,実環境における職種分類の課題について検討する。
目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
論文 参考訳（メタデータ） (2023-03-13T14:09:53Z) - ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for
E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。
事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。
微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文 参考訳（メタデータ） (2023-01-31T07:31:34Z) - Learning-To-Ensemble by Contextual Rank Aggregation in E-Commerce [8.067201256886733]
本稿では,アンサンブルモデルを文脈的ランクアグリゲータに置き換えた新しいラーニング・トゥ・エンサンブル・フレームワークRAEGOを提案する。
RA-EGOは当社のオンラインシステムにデプロイされ、収益を大幅に改善しました。
論文 参考訳（メタデータ） (2021-07-19T03:24:06Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Self-supervised Learning for Large-scale Item Recommendations [18.19202958502061]
大規模なレコメンデータモデルは、巨大なカタログから最も関連性の高いアイテムを見つけ出す。
コーパスには何百万から数十億ものアイテムがあり、ユーザーはごく少数のユーザーに対してフィードバックを提供する傾向にある。
大規模項目推薦のためのマルチタスク自己教師型学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-25T06:21:43Z) - Learning to rank for uplift modeling [13.37616530323223]
アップリフトモデリングの文脈における学習からランクへのテクニックの可能性について検討する。
本稿では,現在使用されている様々なグローバル・アップリフト・モデリング手法の統一的な形式化を提案する。
我々は,PCG(Progressed cumulative gain)と呼ばれる,アップリフト曲線の下での領域の最適化に焦点をあてた,学習からランクへの新たな指標を提案する。
論文 参考訳（メタデータ） (2020-02-14T07:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。