論文の概要: A Decoding Acceleration Framework for Industrial Deployable LLM-based Recommender Systems

• arxiv url: http://arxiv.org/abs/2408.05676v1
• Date: Sun, 11 Aug 2024 02:31:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 17:51:34.696744
• Title: A Decoding Acceleration Framework for Industrial Deployable LLM-based Recommender Systems
• Title（参考訳）: 産業展開型LCMリコメンダシステムのためのデコード高速化フレームワーク
• Authors: Yunjia Xi, Hangyu Wang, Bo Chen, Jianghao Lin, Menghui Zhu, Weiwen Liu, Ruiming Tang, Weinan Zhang, Yong Yu,
• Abstract要約: 本稿では,LLMベースのレコメンデーション(DARE)のためのデコード高速化フレームワークを提案し,検索効率を向上させるためのカスタマイズされた検索プールと,ドラフトトークンの受け入れ率を高めるための緩和検証を提案する。 DAREは大規模な商用環境でのオンライン広告シナリオにデプロイされ、ダウンストリームのパフォーマンスを維持しながら3.45倍のスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 49.588316022381385
• License:
• Abstract: Recently, increasing attention has been paid to LLM-based recommender systems, but their deployment is still under exploration in the industry. Most deployments utilize LLMs as feature enhancers, generating augmentation knowledge in the offline stage. However, in recommendation scenarios, involving numerous users and items, even offline generation with LLMs consumes considerable time and resources. This generation inefficiency stems from the autoregressive nature of LLMs, and a promising direction for acceleration is speculative decoding, a Draft-then-Verify paradigm that increases the number of generated tokens per decoding step. In this paper, we first identify that recommendation knowledge generation is suitable for retrieval-based speculative decoding. Then, we discern two characteristics: (1) extensive items and users in RSs bring retrieval inefficiency, and (2) RSs exhibit high diversity tolerance for text generated by LLMs. Based on the above insights, we propose a Decoding Acceleration Framework for LLM-based Recommendation (dubbed DARE), with Customized Retrieval Pool to improve retrieval efficiency and Relaxed Verification to increase the acceptance rate of draft tokens, respectively. Extensive experiments demonstrate that DARE achieves a 3-5x speedup and is compatible with various frameworks and backbone LLMs. DARE has also been deployed to online advertising scenarios within a large-scale commercial environment, achieving a 3.45x speedup while maintaining the downstream performance.
• Abstract（参考訳）: 近年、LLMベースのレコメンデーションシステムに注目が集まっているが、その展開はいまだに業界で検討中である。 ほとんどのデプロイメントでは、LLMを機能拡張器として使用し、オフラインの段階で拡張知識を生成する。 しかし、多くのユーザやアイテムを含むレコメンデーションシナリオでは、LLMを使ったオフライン生成でさえかなりの時間とリソースを消費する。 この生成非効率性はLDMの自己回帰性に起因し、アクセラレーションの有望な方向は投機的復号(Draft-then-Verify パラダイム)であり、復号ステップ毎に生成されたトークンの数を増やす。 本稿ではまず,検索に基づく投機的復号化に適したレコメンデーション知識生成手法を提案する。 そこで,本研究では,(1)検索効率を低下させる広範囲な項目とユーザ,(2)LLMが生成するテキストに対して高い多様性を示すRSの2つの特徴を識別する。 以上の知見に基づいて,LLM ベースのレコメンデーション(DARE)のためのデコード高速化フレームワークを提案し,検索効率を向上させるためにカスタマイズされた検索プールと,ドラフトトークンの受け入れ率を向上させるための緩和検証を提案する。 大規模な実験により、DAREは3～5倍のスピードアップを実現し、様々なフレームワークやバックボーンLLMと互換性があることが示されている。 DAREは大規模な商用環境でのオンライン広告シナリオにも展開され、ダウンストリームのパフォーマンスを維持しながら3.45倍のスピードアップを実現している。

関連論文リスト

• Efficient Inference for Large Language Model-based Generative Recommendation [78.38878421030522]
  LLM(Large Language Model)ベースの生成レコメンデーションは目覚ましい成功を収めた。 ジェネレーティブレコメンデーションにSD(Speculative Decoding)を適用すると、トップKアイテムを生成する必要があるため、ユニークな課題が提示される。 我々は,厳密なトップK検証の下でトップKアライメントを最適化する AtSpeed-S というアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-07T16:23:36Z)
• LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding [19.510385758079966]
  リアルタイムScene Recommendation(LARR)を用いた大規模言語モデル 本稿では,Large Language Model Aided Real-time Scene Recommendation(LARR)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T10:56:26Z)
• VELO: A Vector Database-Assisted Cloud-Edge Collaborative LLM QoS Optimization Framework [10.716259527813522]
  大規模言語モデル (LLM) は広く普及し、様々な領域で広く利用されている。 ほとんどのLDMデプロイメントは、クラウドデータセンタ内で発生し、相当な応答遅延と高いコストが発生する。 LLM要求結果をエッジに格納するためにベクトルデータベースキャッシュを活用することで、同様の要求に関連する応答遅延とコストを大幅に軽減することができる。
  論文  参考訳（メタデータ） (2024-06-19T09:41:37Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
  コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。 本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-23T08:24:43Z)
• An Embarrassingly Simple Approach for LLM with Strong ASR Capacity [56.30595787061546]
  我々は,音声基礎エンコーダと大規模言語モデル(LLM)を用いて,音声処理の分野で最も重要な課題の1つを解決することに注力する。 最近の研究は、音声エンコーダの出力を時間的に圧縮したり、プロジェクタのモーダルアライメントに対処したり、LLMのパラメータ効率の良い微調整を利用するといった複雑な設計をしている。 そこで本研究では,市販の音声エンコーダLLMと,トレーニング可能な唯一の線形プロジェクタの単純な構成がASRタスクに適しているのに対して,繊細な設計は必要ないことを発見した。
  論文  参考訳（メタデータ） (2024-02-13T23:25:04Z)
• A Review of Repository Level Prompting for LLMs [0.0]
  大規模言語モデル(LLM)は、HumanEvalベンチマークで94.6%の解決率を達成するなど、顕著な成功を収めている。 GitHub CopilotやTab Nineといったリポジトリレベルのインラインコード補完ツールの商用化が進んでいる。 本稿では,個々のコーディング問題からリポジトリスケールソリューションへの移行について述べる。
  論文  参考訳（メタデータ） (2023-12-15T00:34:52Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。