論文の概要: G-Meta: Distributed Meta Learning in GPU Clusters for Large-Scale Recommender Systems

• arxiv url: http://arxiv.org/abs/2401.04338v1
• Date: Tue, 9 Jan 2024 03:35:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:02:50.022376
• Title: G-Meta: Distributed Meta Learning in GPU Clusters for Large-Scale Recommender Systems
• Title（参考訳）: G-Meta: 大規模リコメンダシステムのためのGPUクラスタにおける分散メタ学習
• Authors: Youshao Xiao, Shangchun Zhao, Zhenglei Zhou, Zhaoxin Huan, Lin Ju, Xiaolu Zhang, Lin Wang, Jun Zhou
• Abstract要約: 本稿では,textbfGPUクラスタ上での最適化に基づくメタDLRMモデルの大規模トレーニングのためのフレームワークを提供する。 各種実験結果から,G-Metaは,統計的性能を損なうことなく,顕著なトレーニング速度を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 16.343248795178685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a new paradigm, meta learning, has been widely applied to Deep Learning Recommendation Models (DLRM) and significantly improves statistical performance, especially in cold-start scenarios. However, the existing systems are not tailored for meta learning based DLRM models and have critical problems regarding efficiency in distributed training in the GPU cluster. It is because the conventional deep learning pipeline is not optimized for two task-specific datasets and two update loops in meta learning. This paper provides a high-performance framework for large-scale training for Optimization-based Meta DLRM models over the \textbf{G}PU cluster, namely \textbf{G}-Meta. Firstly, G-Meta utilizes both data parallelism and model parallelism with careful orchestration regarding computation and communication efficiency, to enable high-speed distributed training. Secondly, it proposes a Meta-IO pipeline for efficient data ingestion to alleviate the I/O bottleneck. Various experimental results show that G-Meta achieves notable training speed without loss of statistical performance. Since early 2022, G-Meta has been deployed in Alipay's core advertising and recommender system, shrinking the continuous delivery of models by four times. It also obtains 6.48\% improvement in Conversion Rate (CVR) and 1.06\% increase in CPM (Cost Per Mille) in Alipay's homepage display advertising, with the benefit of larger training samples and tasks.
• Abstract（参考訳）: 近年,新たなパラダイムであるメタラーニングが深層学習勧告モデル(DLRM)に広く適用され,特にコールドスタートシナリオにおける統計的性能が著しく向上している。 しかし、既存のシステムはメタラーニングベースのDLRMモデルに適合せず、GPUクラスタにおける分散トレーニングの効率性に関して重大な問題を抱えている。 これは、従来のディープラーニングパイプラインが2つのタスク固有のデータセットと2つの更新ループに最適化されていないためである。 本稿では,最適化に基づくメタDLRMモデルのための大規模学習のための高性能なフレームワークを,textbf{G}PUクラスタ,すなわちtextbf{G}-Meta上で提供する。 まず、g-metaはデータ並列性とモデル並列性の両方を利用し、計算と通信効率に関して注意深くオーケストレーションし、高速分散トレーニングを可能にする。 次に,i/oボトルネックを軽減するための効率的なデータ取り込みのためのメタioパイプラインを提案する。 様々な実験結果から,g-metaは統計的性能を損なうことなく顕著なトレーニング速度を達成した。 2022年初頭から、G-MetaはAlipayのコア広告とレコメンデーションシステムにデプロイされ、モデルの継続的デリバリを4倍に縮小した。 また、Alipayのホームページ表示広告におけるコンバージョンレート(CVR)の6.48\%の改善とCPM(Cost Per Mille)の1.06\%向上を、より大きなトレーニングサンプルとタスクの恩恵で得る。

関連論文リスト

• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Towards Effective and General Graph Unlearning via Mutual Evolution [44.11777886421429]
  グラフアンラーニングの予測能力と未学習能力を同時に進化させる新しい相互進化パラダイムであるMEGUを提案する。 9つのグラフベンチマークデータセットの実験では、MEGUは2.7%、2.5%、および3.2%の平均的なパフォーマンス改善を達成した。 MEGUは、GNNをゼロから再訓練するのと比較して、それぞれ平均159.8xと9.6xの時間と空間のオーバーヘッドを減少させる、十分な訓練効率を示す。
  論文  参考訳（メタデータ） (2024-01-22T08:45:29Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Making Scalable Meta Learning Practical [40.24886572503001]
  メタ学習は、その膨大な計算/メモリコスト、トレーニング不安定性、効率的な分散トレーニングサポートの欠如により、スケーラビリティの低下に悩まされてきた。 本研究では,暗黙の識別アルゴリズムとシステムの両方の進歩を組み合わせたSAMAを導入することで,スケーラブルなメタ学習の実現に注力する。 我々は,SAMAに基づくデータ最適化により,BERTやRoBERTaの大規模言語モデルによるテキスト分類精度が一貫した改善が達成され,画像分類タスクによる小型・大規模データプルーニングにおいて,最先端の処理結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-09T12:45:13Z)
• p-Meta: Towards On-device Deep Model Adaptation [30.27192953408665]
  p-Metaは、構造的に部分的なパラメータの更新を強制する新しいメタ学習手法である。 p-Metaは、最先端のショットアダプティブ法と比較して平均2.5倍のピークダイナミックメモリを著しく減少させることを示した。
  論文  参考訳（メタデータ） (2022-06-25T18:36:59Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)
• MetaTune: Meta-Learning Based Cost Model for Fast and Efficient Auto-tuning Frameworks [0.0]
  本稿では,メタ学習に基づくコストモデルであるMetaTuneを提案する。 このフレームワークは、4つのCNNモデルに対して平均8～13%の予測時間を提供し、同等または低い最適化時間を持ち、クロスプラットフォームのケースでは転送学習を10%上回っている。
  論文  参考訳（メタデータ） (2021-02-08T13:59:08Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。