論文の概要: Request-Only Optimization for Recommendation Systems

• arxiv url: http://arxiv.org/abs/2508.05640v2
• Date: Wed, 13 Aug 2025 16:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 16:17:42.784016
• Title: Request-Only Optimization for Recommendation Systems
• Title（参考訳）: レコメンデーションシステムのリクエストオンリー最適化
• Authors: Liang Guo, Wei Li, Lucy Liao, Huihui Cheng, Rui Zhang, Yu Shi, Yueming Wang, Yanzun Huang, Keke Zhai, Pengchao Wang, Timothy Shi, Xuan Cao, Shengzhi Wang, Renqin Cai, Zhaojie Gong, Omkar Vichare, Rui Jian, Leon Gao, Shiyan Deng, Xingyu Liu, Xiong Zhang, Fu Li, Wenlei Xie, Bin Wen, Rui Li, Xing Liu, Jiaqi Zhai,
• Abstract要約: 産業規模のDeep Learning Recommendation Models (DLRMs) は毎日何十億ものユーザにサービスを提供している。 DLRMは、例えば1兆の浮動小数点演算(TFLOP)など、前例のない複雑さまで拡張されている。 このスケールは、大量のトレーニングデータとともに、これらの複雑なレコメンデーションシステムの品質を効率的に改善するために、新しいストレージとトレーニングアルゴリズムを必要とします。
• 参考スコア（独自算出の注目度）: 31.503856495990977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning Recommendation Models (DLRMs) represent one of the largest machine learning applications on the planet. Industry-scale DLRMs are trained with petabytes of recommendation data to serve billions of users every day. To utilize the rich user signals in the long user history, DLRMs have been scaled up to unprecedented complexity, up to trillions of floating-point operations (TFLOPs) per example. This scale, coupled with the huge amount of training data, necessitates new storage and training algorithms to efficiently improve the quality of these complex recommendation systems. In this paper, we present a Request-Only Optimizations (ROO) training and modeling paradigm. ROO simultaneously improves the storage and training efficiency as well as the model quality of recommendation systems. We holistically approach this challenge through co-designing data (i.e., request-only data), infrastructure (i.e., request-only based data processing pipeline), and model architecture (i.e., request-only neural architectures). Our ROO training and modeling paradigm treats a user request as a unit of the training data. Compared with the established practice of treating a user impression as a unit, our new design achieves native feature deduplication in data logging, consequently saving data storage. Second, by de-duplicating computations and communications across multiple impressions in a request, this new paradigm enables highly scaled-up neural network architectures to better capture user interest signals, such as Generative Recommenders (GRs) and other request-only friendly architectures.
• Abstract（参考訳）: Deep Learning Recommendation Models (DLRM)は、地球上で最大の機械学習アプリケーションの一つである。 産業規模のDLRMは、毎日数十億のユーザにサービスを提供するために、ペタバイトのレコメンデーションデータでトレーニングされています。 長いユーザ履歴の中でリッチなユーザ信号を利用するために、DLRMは前例のないほど複雑になり、例えば1兆の浮動小数点演算(TFLOP)まで拡張されてきた。 このスケールは、大量のトレーニングデータとともに、これらの複雑なレコメンデーションシステムの品質を効率的に改善するために、新しいストレージとトレーニングアルゴリズムを必要とします。 本稿では、リクエストオンリー最適化(ROO)トレーニングおよびモデリングパラダイムを提案する。 ROOは、ストレージとトレーニングの効率とレコメンデーションシステムのモデル品質を同時に改善する。 データ(すなわち、要求のみのデータ)、インフラストラクチャ(すなわち、要求のみのデータ処理パイプライン)、モデルアーキテクチャ(すなわち、要求のみのデータアーキテクチャ)を共同設計することで、この課題に全力で取り組みます。 我々のROOトレーニングおよびモデリングパラダイムは、ユーザ要求をトレーニングデータの単位として扱います。 ユーザインプレッションを単位として扱うという確立した慣行と比較すると,新しい設計はデータロギングにおけるネイティブな特徴重複を実現し,データストレージを節約します。 第二に、リクエスト内の複数のインプレッションにまたがる計算と通信の非重複化によって、この新しいパラダイムは、高スケールのニューラルネットワークアーキテクチャによって、ジェネレーティブレコメンダ(GR)やその他のリクエスト専用のフレンドリなアーキテクチャといった、ユーザの関心信号をよりよくキャプチャすることを可能にする。

関連論文リスト

• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Dynamic Sparse Learning: A Novel Paradigm for Efficient Recommendation [20.851925464903804]
  本稿では,リコメンデーションモデルに適した新しい学習パラダイムであるDynamic Sparse Learningを紹介する。 DSLは革新的に、スクラッチから軽量スパースモデルをトレーニングし、各ウェイトの重要性を定期的に評価し、動的に調整する。 実験結果は、DSLの有効性を裏付け、トレーニングと推論のコストを大幅に削減し、同等のレコメンデーションパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-02-05T10:16:20Z)
• DNS-Rec: Data-aware Neural Architecture Search for Recommender Systems [79.76519917171261]
  本稿では,SRS(Sequential Recommender Systems)における計算オーバーヘッドと資源非効率性について述べる。 本稿では, プルーニング法と高度なモデル設計を組み合わせた革新的な手法を提案する。 我々の主な貢献は、リコメンダシステム(DNS-Rec)のためのデータ対応ニューラルアーキテクチャ検索の開発である。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• Serving Deep Learning Model in Relational Databases [70.53282490832189]
  リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。 最先端のDL中心アーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。 UDF中心アーキテクチャの可能性は、リレーショナルデータベース管理システム(RDBMS)内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
  論文  参考訳（メタデータ） (2023-10-07T06:01:35Z)
• COMET: A Comprehensive Cluster Design Methodology for Distributed Deep Learning Training [42.514897110537596]
  現代のディープラーニング(DL)モデルは、トレーニングする専門的でハイエンドなノードの大規模なクラスタを必要とするサイズに成長しています。 このようなクラスタを設計してパフォーマンスと利用の両方を最大化します。 本稿では,並列化戦略と鍵クラスタリソースのプロビジョニングが分散DLトレーニングのパフォーマンスに与える影響を共同で研究する,総合的なクラスタ設計方法論とワークフローであるCOMETを紹介する。
  論文  参考訳（メタデータ） (2022-11-30T00:32:37Z)
• RecD: Deduplication for End-to-End Deep Learning Recommendation Model Training Infrastructure [3.991664287163157]
  RecDは、産業規模のDLRMトレーニングデータセットに固有の機能の重複に起因する膨大なストレージ、前処理、トレーニングオーバーヘッドに対処する。 本稿では,産業規模のDLRMトレーニングシステムにおいて,RecDが最大2.48倍,1.79倍,3.71倍のスループットとストレージ効率を向上させる方法を示す。
  論文  参考訳（メタデータ） (2022-11-09T22:21:19Z)
• Incremental Learning for Personalized Recommender Systems [8.020546404087922]
  トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。 このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
  論文  参考訳（メタデータ） (2021-08-13T04:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。