Fugu-MT 論文翻訳(概要): Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding

論文の概要: Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding

arxiv url: http://arxiv.org/abs/2408.05676v2
Date: Tue, 29 Apr 2025 08:43:15 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:51.924777
Title: Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding
Title（参考訳）: 効率的な解法:投機的復号化を用いたLLMベースのレコメンダシステムの推論高速化
Authors: Yunjia Xi, Hangyu Wang, Bo Chen, Jianghao Lin, Menghui Zhu, Weiwen Liu, Ruiming Tang, Zhewei Wei, Weinan Zhang, Yong Yu,
Abstract要約: LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
参考スコア（独自算出の注目度）: 61.45448947483328
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The past few years have witnessed a growing interest in LLM-based recommender systems (RSs), although their industrial deployment remains in a preliminary stage. Most existing deployments leverage LLMs offline as feature enhancers, generating augmented knowledge for downstream tasks. However, in recommendation scenarios with numerous users and items, even offline knowledge generation with LLMs demands significant time and computational resources. This inefficiency arises from the autoregressive nature of LLMs. A promising solution is speculative decoding, a Draft-Then-Verify approach that increases the number of tokens generated per decoding step. In this work, we first identify recommendation knowledge generation as a highly fitting use case for retrieval-based speculative decoding. Then, we discern its two characteristics: (1) the vast number of items and users in RSs leads to retrieval inefficiency, and (2) RSs exhibit high diversity tolerance for LLM-generated text. Building on these insights, we introduce Lossless Acceleration via Speculative Decoding for LLM-based Recommender Systems (LASER), which features a Customized Retrieval Pool to enhance retrieval efficiency and Relaxed Verification to improve the acceptance rate of draft tokens. LASER achieves a 3-5x speedup on public datasets and saves about 67\% of computational resources during the online A/B test on a large-scale advertising scenario with lossless downstream recommendation performance. Our code is available at https://github.com/YunjiaXi/LASER
Abstract（参考訳）: 過去数年間、LLMベースのレコメンデーションシステム(RS)への関心が高まってきたが、産業展開はまだ初期段階にある。既存のデプロイメントのほとんどは、機能拡張としてLLMをオフラインで利用し、下流タスクのための強化された知識を生成する。しかし、多数のユーザやアイテムによる推奨シナリオでは、LLMを使ったオフライン知識生成でさえ、かなりの時間と計算資源を必要とする。この非効率性はLDMの自己回帰性から生じる。有望な解決策は投機的復号であり、Draft-Then-Verifyアプローチは復号ステップ毎に生成されるトークンの数を増やす。本研究では,まず,検索に基づく投機的復号化のための高度に適合したユースケースとして,レコメンデーション知識の生成を同定する。そして,その2つの特徴を識別する:(1) RSの膨大な数の項目と利用者が検索の効率を損なうこと,(2) RSはLLM生成テキストに対して高い多様性の耐性を示すこと,である。これらの知見に基づいて、LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス加速を導入し、検索効率を向上させるためのカスタマイズされた検索プールと、ドラフトトークンの受入率を改善するための緩和検証を特徴とする。 LASERは、パブリックデータセットの3～5倍のスピードアップを実現し、ダウンストリームレコメンデーションパフォーマンスを損なうことなく、大規模な広告シナリオ上でのオンラインA/Bテストにおいて、約66%の計算リソースを節約する。私たちのコードはhttps://github.com/YunjiaXi/LASERで利用可能です。

関連論文リスト

LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Parametric Retrieval Augmented Generation [32.29608109539912]
Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
論文参考訳（メタデータ） (2025-01-27T10:04:49Z)
Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
論文参考訳（メタデータ） (2025-01-24T06:39:38Z)
Efficient Inference for Large Language Model-based Generative Recommendation [78.38878421030522]
LLM(Large Language Model)ベースの生成レコメンデーションは目覚ましい成功を収めた。ジェネレーティブレコメンデーションにSD(Speculative Decoding)を適用すると、トップKアイテムを生成する必要があるため、ユニークな課題が提示される。我々は,厳密なトップK検証の下でトップKアライメントを最適化する AtSpeed-S というアライメントフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-07T16:23:36Z)
LARR: Large Language Model Aided Real-time Scene Recommendation with Semantic Understanding [19.510385758079966]
リアルタイムScene Recommendation(LARR)を用いた大規模言語モデル本稿では,Large Language Model Aided Real-time Scene Recommendation(LARR)を紹介する。
論文参考訳（メタデータ） (2024-08-21T10:56:26Z)
Efficient and Deployable Knowledge Infusion for Open-World Recommendations via Large Language Models [53.547190001324665]
大規模言語モデル(LLM)からユーザとアイテムに関する2種類の外部知識を取得するためのREKIを提案する。個別の知識抽出と個別の知識抽出を,異なるシナリオのスケールに合わせて開発し,オフラインのリソース消費を効果的に削減する。実験によると、REKIは最先端のベースラインより優れており、多くの推奨アルゴリズムやタスクと互換性がある。
論文参考訳（メタデータ） (2024-08-20T03:45:24Z)
On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
論文参考訳（メタデータ） (2024-06-24T07:17:59Z)
VELO: A Vector Database-Assisted Cloud-Edge Collaborative LLM QoS Optimization Framework [10.716259527813522]
大規模言語モデル (LLM) は広く普及し、様々な領域で広く利用されている。ほとんどのLDMデプロイメントは、クラウドデータセンタ内で発生し、相当な応答遅延と高いコストが発生する。 LLM要求結果をエッジに格納するためにベクトルデータベースキャッシュを活用することで、同様の要求に関連する応答遅延とコストを大幅に軽減することができる。
論文参考訳（メタデータ） (2024-06-19T09:41:37Z)
New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。これらの課題に対処するための最近の進歩と研究の方向性について概観する。
論文参考訳（メタデータ） (2024-06-16T11:56:50Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
論文参考訳（メタデータ） (2024-05-05T00:21:26Z)
Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
論文参考訳（メタデータ） (2023-08-21T04:31:06Z)
Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。