論文の概要: An Efficient Large Recommendation Model: Towards a Resource-Optimal Scaling Law

• arxiv url: http://arxiv.org/abs/2502.09888v1
• Date: Fri, 14 Feb 2025 03:25:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:06:15.777498
• Title: An Efficient Large Recommendation Model: Towards a Resource-Optimal Scaling Law
• Title（参考訳）: 効率的な大規模勧告モデル:資源最適スケーリング法を目指して
• Authors: Songpei Xu, Shijia Wang, Da Guo, Xianwen Guo, Qiang Xiao, Fangjian Li, Chuanjiang Luo,
• Abstract要約: Climberはリソース効率のよいレコメンデーションフレームワークです。 中国最大の音楽ストリーミングプラットフォームの一つであるNetease Cloud Musicで成功を収めている。
• 参考スコア（独自算出の注目度）: 2.688944054336062
• License:
• Abstract: The pursuit of scaling up recommendation models confronts intrinsic tensions between expanding model capacity and preserving computational tractability. While prior studies have explored scaling laws for recommendation systems, their resource-intensive paradigms -- often requiring tens of thousands of A100 GPU hours -- remain impractical for most industrial applications. This work addresses a critical gap: achieving sustainable model scaling under strict computational budgets. We propose Climber, a resource-efficient recommendation framework comprising two synergistic components: the ASTRO model architecture for algorithmic innovation and the TURBO acceleration framework for engineering optimization. ASTRO (Adaptive Scalable Transformer for RecOmmendation) adopts two core innovations: (1) multi-scale sequence partitioning that reduces attention complexity from O(n^2d) to O(n^2d/Nb) via hierarchical blocks, enabling more efficient scaling with sequence length; (2) dynamic temperature modulation that adaptively adjusts attention scores for multimodal distributions arising from inherent multi-scenario and multi-behavior interactions. Complemented by TURBO (Two-stage Unified Ranking with Batched Output), a co-designed acceleration framework integrating gradient-aware feature compression and memory-efficient Key-Value caching, Climber achieves 5.15x throughput gains without performance degradation. Comprehensive offline experiments on multiple datasets validate that Climber exhibits a more ideal scaling curve. To our knowledge, this is the first publicly documented framework where controlled model scaling drives continuous online metric growth (12.19% overall lift) without prohibitive resource costs. Climber has been successfully deployed on Netease Cloud Music, one of China's largest music streaming platforms, serving tens of millions of users daily.
• Abstract（参考訳）: 推奨モデルのスケールアップの追求は、モデル容量の拡大と計算的トラクタビリティの維持という本質的な緊張に直面する。 これまでの研究では、レコメンデーションシステムのスケーリング法則について検討されてきたが、リソース集約的なパラダイム — 多くの場合、数万のA100 GPU時間を必要とする — は、ほとんどの産業アプリケーションでは実用的ではない。 この作業は、厳格な計算予算の下で持続可能なモデルスケーリングを達成するという、重大なギャップに対処する。 本稿では,アルゴリズムイノベーションのためのASTROモデルアーキテクチャと,エンジニアリング最適化のためのTURBOアクセラレーションフレームワークであるClimberを提案する。 ASTRO (Adaptive Scalable Transformer for RecOmmendation) は,(1)O(n^2d) から O(n^2d/Nb) への注目の複雑さを低減し,配列長によるより効率的なスケーリングを実現するマルチスケールシーケンスパーティショニング,(2) 固有なマルチシナリオとマルチ振る舞いの相互作用に起因するマルチモーダル分布に対するアテンションスコアを適応的に調整する動的温度変調,の2つの革新を取り入れている。 TURBO (Two-stage Unified Ranking with Batched Output) は、グラデーション対応の特徴圧縮とメモリ効率のキーバリューキャッシュを統合したアクセラレーションフレームワークである。 複数のデータセットに関する総合的なオフライン実験は、Climberがより理想的なスケーリング曲線を示すことを証明している。 私たちの知る限り、このフレームワークは、制御されたモデルスケーリングが、リソースコストを抑えることなく、継続的なオンラインメトリック成長(全体の12.19%)を駆動する、初めてのドキュメント化されたフレームワークです。 Climberは、中国最大の音楽ストリーミングプラットフォームであるNetease Cloud Musicに、毎日数千万人のユーザーにサービスを提供している。

関連論文リスト

• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization [18.00873866263434]
  微調整された大きな言語モデル(LLM)は、大きなメモリ問題を引き起こす。 最近の研究であるMeZOは、ゼロ階最適化法(ZO)を用いてこの問題に対処している。 HELENEは、スケーラブルでメモリ効率の良い新しいプレコンディショナーである。
  論文  参考訳（メタデータ） (2024-11-16T04:27:22Z)
• SoftLMs: Efficient Adaptive Low-Rank Approximation of Language Models using Soft-Thresholding Mechanism [1.7170348600689374]
  本稿では,ソフトしきい値設定機構を用いて各層のランクを動的に決定する新しい圧縮手法を提案する。 本手法は,識別タスクのBERTや生成タスクのGPT2,TinyLlamaなど,注目に基づくアーキテクチャに適用可能である。 実験により,提案手法はエンコーダ/デコーダにおける1.33Xから1.72Xの高速化を実現し,全パラメータの50%削減を実現した。
  論文  参考訳（メタデータ） (2024-11-15T19:29:51Z)
• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
  拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。 近年,より高速な生成プロセスの自動探索技術が採用されている。 拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T06:28:05Z)
• AdaZeta: Adaptive Zeroth-Order Tensor-Train Adaption for Memory-Efficient Large Language Models Fine-Tuning [22.950914612765494]
  微調整型大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 メモリ効率のゼロ階数法(MeZO)は、前方通過のみを使用してLPMを微調整しようとするため、バックプロパゲーショングラフは不要である。 本稿では,ZO手法の性能と収束性を改善するために,AdaZeta(Adaptive Zeroth-order-Train Adaption)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T04:33:13Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• Scaling Distributed Deep Learning Workloads beyond the Memory Capacity with KARMA [58.040931661693925]
  冗長な再計算とアウト・オブ・コアの手法を組み合わせた戦略を提案する。 最先端のアウト・オブ・コア手法を用いて,6種類のモデルで平均1.22倍の高速化を実現した。 我々のデータ並列化ソリューションは,Megatron-LMやTurning-NLGといった大規模モデルのトレーニングにおいて,複雑なハイブリッドモデル並列性よりも優れる。
  論文  参考訳（メタデータ） (2020-08-26T07:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。