論文の概要: An Enhanced Batch Query Architecture in Real-time Recommendation
- arxiv url: http://arxiv.org/abs/2409.00400v1
- Date: Sat, 31 Aug 2024 09:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 15:08:42.457998
- Title: An Enhanced Batch Query Architecture in Real-time Recommendation
- Title(参考訳): リアルタイムレコメンデーションにおける拡張バッチクエリアーキテクチャ
- Authors: Qiang Zhang, Zhipeng Teng, Disheng Wu, Jiayin Wang,
- Abstract要約: Webサイトやアプリの産業レコメンデーションシステムでは、ユーザの関心事に関連するトップnの結果をリコールし、予測することが不可欠である。
我々は,リアルタイムレコメンデーションシステムのための高性能バッチクエリアーキテクチャの設計と実装を行った。
このアーキテクチャは1年以上にわたってbilibiliレコメンデーションシステムにデプロイされ、最小限のリソース増加を伴う10倍のモデルをサポートする。
- 参考スコア(独自算出の注目度): 9.073405491915198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In industrial recommendation systems on websites and apps, it is essential to recall and predict top-n results relevant to user interests from a content pool of billions within milliseconds. To cope with continuous data growth and improve real-time recommendation performance, we have designed and implemented a high-performance batch query architecture for real-time recommendation systems. Our contributions include optimizing hash structures with a cacheline-aware probing method to enhance coalesced hashing, as well as the implementation of a hybrid storage key-value service built upon it. Our experiments indicate this approach significantly surpasses conventional hash tables in batch query throughput, achieving up to 90% of the query throughput of random memory access when incorporating parallel optimization. The support for NVMe, integrating two-tier storage for hot and cold data, notably reduces resource consumption. Additionally, the system facilitates dynamic updates, automated sharding of attributes and feature embedding tables, and introduces innovative protocols for consistency in batch queries, thereby enhancing the effectiveness of real-time incremental learning updates. This architecture has been deployed and in use in the bilibili recommendation system for over a year, a video content community with hundreds of millions of users, supporting 10x increase in model computation with minimal resource growth, improving outcomes while preserving the system's real-time performance.
- Abstract(参考訳): Webサイトやアプリの産業レコメンデーションシステムでは、数ミリ秒以内の数十億のコンテンツプールから、ユーザの関心に関連するトップnの結果をリコールし、予測することが不可欠である。
連続データの成長に対処し、リアルタイムレコメンデーション性能を向上させるために、リアルタイムレコメンデーションシステムのための高性能バッチクエリアーキテクチャを設計、実装した。
我々の貢献は、ハッシュ構造をキャッシュラインを意識した探索手法で最適化し、合体ハッシュを強化し、その上に構築されたハイブリッドストレージキーバリューサービスを実装することである。
提案手法は,並列最適化を組み込んだ場合,バッチクエリスループットにおいて従来のハッシュテーブルをはるかに上回り,ランダムメモリアクセスのクエリスループットの最大90%を達成できることを示す。
NVMeのサポート、ホットデータとコールドデータのための2層ストレージの統合、特にリソース消費の削減。
さらに、動的更新、属性の自動シャーディング、機能埋め込みテーブルの活用、バッチクエリにおける一貫性のための革新的なプロトコルの導入、即時インクリメンタルな学習更新の有効性の向上などを実現している。
このアーキテクチャは,数億人のユーザが参加するビデオコンテンツコミュニティであるbilibiliレコメンデーションシステムに1年以上にわたってデプロイされ,使用されてきた。
関連論文リスト
- Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。
信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
論文 参考訳(メタデータ) (2024-06-29T02:40:28Z) - EASRec: Elastic Architecture Search for Efficient Long-term Sequential
Recommender Systems [82.76483989905961]
現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。
我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。
EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
論文 参考訳(メタデータ) (2024-02-01T07:22:52Z) - Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。
我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。
NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
論文 参考訳(メタデータ) (2023-12-21T02:48:44Z) - Hybrid Retrieval-Augmented Generation for Real-time Composition
Assistance [19.011514931732904]
本稿では,HybridRAG(HybridRAG)フレームワークを提案する。
クラウドベースの大規模言語モデルと、より小さなクライアントサイドの言語モデルとを効率的に組み合わせ、拡張メモリを検索する。
5つのベンチマークデータセットに対する実験により、HybridRAGは低レイテンシを維持しながら、クライアントのみのモデルよりも実用性を大幅に向上することを示した。
論文 参考訳(メタデータ) (2023-08-08T12:27:20Z) - HPC Storage Service Autotuning Using Variational-Autoencoder-Guided
Asynchronous Bayesian Optimization [3.153934519625761]
我々は,HPCストレージサービスパラメータをチューニングするための変分自動エンコーダ誘導非同期ベイズ最適化法を開発した。
我々は、DeepHyperオープンソースフレームワークにアプローチを実装し、ArgonneのThetaスーパーコンピュータ上での高エネルギー物理ワークフローの自動チューニングに適用する。
われわれのアプローチは、最先端のオートチューニングフレームワークのスピードに匹敵し、リソース利用と並列化の能力でそれらを上回ります。
論文 参考訳(メタデータ) (2022-10-03T10:12:57Z) - BagPipe: Accelerating Deep Recommendation Model Training [9.911467752221863]
Bagpipeは、キャッシュとプレフェッチを使用して、リモート埋め込みアクセスと計算を重複させるディープレコメンデーションモデルをトレーニングするシステムである。
私たちは、ルックアヘッドアルゴリズムを使用して最適なキャッシュ更新決定を生成する新しいコンポーネントであるOracle Cacherを設計します。
論文 参考訳(メタデータ) (2022-02-24T23:54:12Z) - Data-Driven Offline Optimization For Architecting Hardware Accelerators [89.68870139177785]
PRIMEと呼ばれるハードウェアアクセラレータを設計するための,データ駆動型オフライン最適化手法を開発した。
PRIMEは、最先端のシミュレーション駆動方式の性能を約1.54倍と1.20倍に改善し、必要な総シミュレーション時間をそれぞれ93%と99%削減する。
さらにPRIMEは、ゼロショット設定で見えないアプリケーションのための効果的なアクセラレーターを設計し、シミュレーションベースの手法を1.26倍に向上させた。
論文 参考訳(メタデータ) (2021-10-20T17:06:09Z) - DHA: End-to-End Joint Optimization of Data Augmentation Policy,
Hyper-parameter and Architecture [81.82173855071312]
本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。
Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
論文 参考訳(メタデータ) (2021-09-13T08:12:50Z) - Evaluating Spatial Accelerator Architectures with Tiled Matrix-Matrix
Multiplication [4.878665155352402]
我々は,所定の空間加速器とワークロードの組み合わせに対して,階層化されたGEMMに対して最適化されたマッピングを求めるフレームワークを開発する。
5つの空間加速器を用いた評価結果から,本フレームワークが系統的に生成したGEMMマッピングは高い性能を発揮することが示された。
論文 参考訳(メタデータ) (2021-06-19T13:53:58Z) - Fast Class-wise Updating for Online Hashing [196.14748396106955]
本稿では,FCOH(Fast Class-wise Updating for Online Hashing)と呼ばれる新しいオンラインハッシュ方式を提案する。
クラスワイズ更新法は、バイナリコード学習を分解し、代わりにクラスワイズ方式でハッシュ関数を更新する。
オンラインの効率をより高めるために,異なるバイナリ制約を独立に扱うことで,オンライントレーニングを高速化する半緩和最適化を提案する。
論文 参考訳(メタデータ) (2020-12-01T07:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。