論文の概要: Actions Speak Louder than Words: Trillion-Parameter Sequential
Transducers for Generative Recommendations
- arxiv url: http://arxiv.org/abs/2402.17152v1
- Date: Tue, 27 Feb 2024 02:37:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 18:02:11.367332
- Title: Actions Speak Louder than Words: Trillion-Parameter Sequential
Transducers for Generative Recommendations
- Title（参考訳）: 単語よりも話者に耳を傾ける行動:生成レコメンデーションのためのトリリオンパラメータシーケンストランスデューサ
- Authors: Jiaqi Zhai, Lucy Liao, Xing Liu, Yueming Wang, Rui Li, Xuan Cao, Leon
Gao, Zhaojie Gong, Fangda Gu, Michael He, Yinghai Lu, Yu Shi
- Abstract要約: 大規模なレコメンデーションシステムは、毎日数千億のユーザーアクションを扱う必要がある。
何千もの機能を備えた大量のデータでトレーニングされているにも関わらず、業界におけるほとんどのDeep Learning Recommendation Model(DLRM)は、計算処理ではスケールできない。
言語および視覚領域におけるトランスフォーマーの成功に触発され、推奨システムの基本設計選択を再考する。
- 参考スコア（独自算出の注目度）: 11.499366785409
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large-scale recommendation systems are characterized by their reliance on
high cardinality, heterogeneous features and the need to handle tens of
billions of user actions on a daily basis. Despite being trained on huge volume
of data with thousands of features, most Deep Learning Recommendation Models
(DLRMs) in industry fail to scale with compute.
Inspired by success achieved by Transformers in language and vision domains,
we revisit fundamental design choices in recommendation systems. We reformulate
recommendation problems as sequential transduction tasks within a generative
modeling framework (``Generative Recommenders''), and propose a new
architecture, HSTU, designed for high cardinality, non-stationary streaming
recommendation data.
HSTU outperforms baselines over synthetic and public datasets by up to 65.8\%
in NDCG, and is 5.3x to 15.2x faster than FlashAttention2-based Transformers on
8192 length sequences. HSTU-based Generative Recommenders, with 1.5 trillion
parameters, improve metrics in online A/B tests by 12.4\% and have been
deployed on multiple surfaces of a large internet platform with billions of
users. More importantly, the model quality of Generative Recommenders
empirically scales as a power-law of training compute across three orders of
magnitude, up to GPT-3/LLaMa-2 scale, which reduces carbon footprint needed for
future model developments, and further paves the way for the first foundational
models in recommendations.
- Abstract（参考訳）: 大規模レコメンデーションシステムは、高濃度、異質な特徴、毎日数十億のユーザアクションを処理する必要性に依存していることが特徴である。
何千もの機能を備えた大量のデータでトレーニングされているにも関わらず、業界におけるほとんどのDeep Learning Recommendation Model(DLRM)は、計算処理ではスケールできない。
言語と視覚領域におけるトランスフォーマーの成功に触発され、推奨システムの基本設計選択を再考する。
生成型モデリングフレームワーク(``generative recommenders'')内の逐次変換タスクとしてレコメンデーション問題を再構成し,高濃度非定常ストリーミングレコメンデーションデータ用に設計された新しいアーキテクチャであるhstuを提案する。
HSTUはNDCGの合成データセットと公開データセットのベースラインを65.8倍に上回り、FlashAttention2ベースの8192のトランスフォーマーよりも5.3倍から15.2倍高速である。
HSTUベースのGenerative Recommendersは1.5兆のパラメータを持ち、オンラインA/Bテストのメトリクスを12.4\%改善し、数十億のユーザがいる大規模なインターネットプラットフォームの複数の面にデプロイされている。
さらに重要なことは、ジェネレーティブ・リコメンダのモデル品質は、GPT-3/LLaMa-2スケールまでの3桁のトレーニング計算の強力な法則として実証的にスケールし、将来のモデル開発に必要な炭素フットプリントを減らすとともに、推奨の最初の基礎モデルへの道を開くことである。
関連論文リスト
- Leveraging Large Language Models to Enhance Personalized Recommendations in E-commerce [6.660249346977347]
本研究では,eコマースのパーソナライズされたレコメンデーションシステムにおける大規模言語モデル(LLM)の適用について検討する。
LLMは、ユーザコメントと製品記述データの深いセマンティック理解を通じて、ユーザの暗黙的なニーズを効果的に捉えます。
この研究は、パーソナライズされたレコメンデーション分野においてLLMが大きなアドバンテージがあることを示し、ユーザーエクスペリエンスを改善し、プラットフォーム販売の成長を促進することを示唆している。
論文 参考訳（メタデータ） (2024-10-02T13:59:56Z) - Mixture of Experts with Mixture of Precisions for Tuning Quality of Service [0.0]
本稿では,MoEモデルの効率的なデプロイのための適応型サービス方式を提案する。
量子化の専門家の数を動的に決定することにより、スループットとモデル品質をチューニングするためのきめ細かい設定を提供する。
その結果、動的かつ精度の高いアプリケーションにおける我々のアプローチの実用性を強調した。
論文 参考訳（メタデータ） (2024-07-19T15:42:49Z) - PTF-FSR: A Parameter Transmission-Free Federated Sequential Recommender System [42.79538136366075]
本稿では,パラメータを含まないフェデレーション・シーケンシャル・レコメンデーション・フレームワーク(PTF-FSR)を提案する。
PTF-FSRは、サービスプロバイダやシステムユーザのプライバシニーズを満たすために、モデルとデータのプライバシ保護の両方を保証する。
論文 参考訳（メタデータ） (2024-06-08T07:45:46Z) - SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation [74.07836010698801]
この問題に対処するために,SMPLベースのトランスフォーマーフレームワーク(SMPLer)を提案する。
SMPLerは、切り離された注意操作とSMPLベースのターゲット表現の2つの重要な要素を組み込んでいる。
SMPLerの既存の3次元人体形状に対する効果とポーズ推定方法の実証実験を行った。
論文 参考訳（メタデータ） (2024-04-23T17:59:59Z) - LightLM: A Lightweight Deep and Narrow Language Model for Generative
Recommendation [45.00339682494516]
LightLMは、生成レコメンデーションのための軽量トランスフォーマーベースの言語モデルである。
LightLMは軽量のディープトランスフォーマーアーキテクチャを導入することでこの問題に対処している。
また,SCI(Spectral Collaborative Indexing)とグラフコラボレーションインデックス(Graph Collaborative Indexing,GCI)という,考案したユーザIDとアイテムIDのインデックス化手法によって,大規模言語モデルよりも高い精度で,より深く狭いトランスフォーマーアーキテクチャを実現することも示す。
論文 参考訳（メタデータ） (2023-10-26T15:44:57Z) - SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation [83.18930314027254]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
本研究では,VT-Huge をバックボーンとする第1次一般基礎モデル (SMPLer-X) に向けた EHPS のスケールアップについて検討する。
ビッグデータと大規模モデルにより、SMPLer-Xは、さまざまなテストベンチマークにまたがる強力なパフォーマンスと、目に見えない環境への優れた転送性を示す。
論文 参考訳（メタデータ） (2023-09-29T17:58:06Z) - E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。
本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。
提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2023-07-25T19:03:21Z) - GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous
Structured Pruning for Vision Transformer [76.2625311630021]
視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。
この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。
グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
論文 参考訳（メタデータ） (2023-01-13T00:40:24Z) - On the Generalizability and Predictability of Recommender Systems [33.46314108814183]
推奨システムアプローチに関する大規模な研究を初めて行った。
Reczillaは、レコメンデーションシステムのためのメタラーニングアプローチです。
論文 参考訳（メタデータ） (2022-06-23T17:51:42Z) - DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。
詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。
トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文 参考訳（メタデータ） (2022-03-01T15:36:38Z) - DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language
Models [152.29364079385635]
事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。
本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。
提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
論文 参考訳（メタデータ） (2021-10-30T03:29:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。