論文の概要: GPU-accelerated Multi-relational Parallel Graph Retrieval for Web-scale Recommendations

• arxiv url: http://arxiv.org/abs/2502.11490v1
• Date: Mon, 17 Feb 2025 06:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:48.028742
• Title: GPU-accelerated Multi-relational Parallel Graph Retrieval for Web-scale Recommendations
• Title（参考訳）: WebスケールレコメンデーションのためのGPUによるマルチリレーショナル並列グラフ検索
• Authors: Zhuoning Guo, Guangxing Chen, Qian Gao, Xiaochao Liao, Jianjia Zheng, Lu Shen, Hao Liu,
• Abstract要約: 本稿では,GPUによるマルチリレーショナル並列グラフ検索(GMP-GR)フレームワークを提案する。 Baiduで20以上のアプリケーションにデプロイされたGMP-GRは、数億のユーザに対して、毎秒1億リクエストを超えるスループットを提供する。
• 参考スコア（独自算出の注目度）: 7.736946301359864
• License:
• Abstract: Web recommendations provide personalized items from massive catalogs for users, which rely heavily on retrieval stages to trade off the effectiveness and efficiency of selecting a small relevant set from billion-scale candidates in online digital platforms. As one of the largest Chinese search engine and news feed providers, Baidu resorts to Deep Neural Network (DNN) and graph-based Approximate Nearest Neighbor Search (ANNS) algorithms for accurate relevance estimation and efficient search for relevant items. However, current retrieval at Baidu fails in comprehensive user-item relational understanding due to dissected interaction modeling, and performs inefficiently in large-scale graph-based ANNS because of suboptimal traversal navigation and the GPU computational bottleneck under high concurrency. To this end, we propose a GPU-accelerated Multi-relational Parallel Graph Retrieval (GMP-GR) framework to achieve effective yet efficient retrieval in web-scale recommendations. First, we propose a multi-relational user-item relevance metric learning method that unifies diverse user behaviors through multi-objective optimization and employs a self-covariant loss to enhance pathfinding performance. Second, we develop a hierarchical parallel graph-based ANNS to boost graph retrieval throughput, which conducts breadth-depth-balanced searches on a large-scale item graph and cost-effectively handles irregular neural computation via adaptive aggregation on GPUs. In addition, we integrate system optimization strategies in the deployment of GMP-GR in Baidu. Extensive experiments demonstrate the superiority of GMP-GR in retrieval accuracy and efficiency. Deployed across more than twenty applications at Baidu, GMP-GR serves hundreds of millions of users with a throughput exceeding one hundred million requests per second.
• Abstract（参考訳）: Webレコメンデーションは、ユーザの大規模なカタログからパーソナライズされたアイテムを提供する。オンラインデジタルプラットフォームにおいて、数十億の候補者から小さな関連するセットを選択することの効率と効率を、検索ステージに大きく依存する。 中国最大の検索エンジンとニュースフィードプロバイダの1つとして、Baiduは、Deep Neural Network (DNN) とグラフベースの近似Nearest Neighbor Search (ANNS) アルゴリズムを利用して、正確な関連性の推定と関連項目の効率的な検索を行っている。 しかし、Baiduの現在の検索は、解離相互作用モデリングによる総合的なユーザ・イテム関係理解に失敗し、大規模グラフベースのANNSでは、最適化されたトラバースナビゲーションと高い並列性下でのGPU計算ボトルネックのため、非効率に実行する。 そこで本研究では,GPUによるマルチリレーショナル並列グラフ検索(GMP-GR)フレームワークを提案する。 まず,多目的最適化により多様なユーザ動作を統一し,パスフィンディング性能を高めるために自己共変損失を用いるマルチリレーショナルユーザ関連メトリクス学習手法を提案する。 第2に,大規模項目グラフ上で広範囲に分散した探索を行い,GPU上での適応アグリゲーションによる不規則なニューラル計算をコスト効率よく処理する,グラフ検索スループットを向上させる階層並列グラフベースのANNSを開発する。 さらに,Baidu における GMP-GR の展開において,システム最適化戦略を統合する。 GMP-GRの検索精度と効率性に優れることを示した。 Baiduで20以上のアプリケーションにデプロイされたGMP-GRは、数億のユーザに対して、毎秒1億リクエストを超えるスループットを提供する。

関連論文リスト

• GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
  グラフ拡散型ソリューション生成(GDSG)法を提案する。 このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。 グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
  論文  参考訳（メタデータ） (2024-12-11T11:13:43Z)
• MAGNOLIA: Matching Algorithms via GNNs for Online Value-to-go Approximation [48.32178376038614]
  問題に複雑な最適オンラインアルゴリズムをエミュレートするグラフニューラルネットワーク(GNN)を導入する。 我々は、このGNNが様々なタスクにまたがってハイウェイトマッチングを返すことを実証的に示す。
  論文  参考訳（メタデータ） (2024-06-10T01:39:04Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• SCARA: Scalable Graph Neural Networks with Feature-Oriented Optimization [23.609017952951454]
  グラフ計算のための特徴指向最適化を備えたスケーラブルグラフニューラルネットワーク(GNN)であるSCARAを提案する。 SCARAはノードの特徴からグラフの埋め込みを効率的に計算し、機能の結果を選択して再利用することでオーバーヘッドを減らします。 利用可能な最大10億のGNNデータセットであるPapers100M(1110万ノード、1.6Bエッジ)を100秒でプリ計算するのが効率的である。
  論文  参考訳（メタデータ） (2022-07-19T10:32:11Z)
• Approximate Nearest Neighbor Search under Neural Similarity Metric for Large-Scale Recommendation [20.42993976179691]
  本稿では,任意のマッチング関数にANN探索を拡張する新しい手法を提案する。 我々の主な考えは、すべての項目から構築された類似性グラフに一致する関数で、欲張りのウォークを実行することである。 提案手法は,Taobaoのディスプレイ広告プラットフォームに完全に展開されており,広告収入の大幅な増加をもたらす。
  論文  参考訳（メタデータ） (2022-02-14T07:55:57Z)
• BGL: GPU-Efficient GNN Training by Optimizing Graph Data I/O and Preprocessing [0.0]
  グラフニューラルネットワーク(GNN)は、ディープニューラルネットワーク(DNN)の成功を非ユークリッドグラフデータに拡張した。 既存のシステムは、数十億のノードとエッジを持つ巨大なグラフをGPUでトレーニングする非効率である。 本稿では,ボトルネックに対処するための分散GNN学習システムであるBGLを提案する。
  論文  参考訳（メタデータ） (2021-12-16T00:37:37Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。