論文の概要: Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing

• arxiv url: http://arxiv.org/abs/2510.16040v1
• Date: Thu, 16 Oct 2025 07:12:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.796253
• Title: Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing
• Title（参考訳）: Kelle: エッジコンピューティングにおける効率的なLLM実行のためのKVキャッシングとeDRAMの共同設計
• Authors: Tianhua Xia, Sai Qian Zhang,
• Abstract要約: エッジデバイス上の大規模言語モデル(LLM)は、レイテンシの低減、リアルタイム処理の改善、プライバシの向上に不可欠である。 エッジデバイスにLLMを実装することは、特にキーバリューキャッシュの管理において、課題となる。 エッジデバイスにおけるLLMのプライマリストレージとしてeDRAMを提案する。
• 参考スコア（独自算出の注目度）: 9.984481065465028
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Running Large Language Models (LLMs) on edge devices is crucial for reducing latency, improving real-time processing, and enhancing privacy. By performing inference directly on the device, data does not need to be sent to the cloud, ensuring faster responses and reducing reliance on network connectivity. However, implementing LLMs on edge devices presents challenges, particularly with managing key-value (KV) caches, which plays a pivotal role in LLM serving. As the input text lengthens, the size of the KV cache increases linearly with the sequence length, leading to a significant memory footprint and data access costs. On the other hand, edge devices have limited memory and computational power, making it hard to store and efficiently access the large caches needed for LLM inference. To mitigate the substantial overhead caused by KV cache, we propose using embedded DRAM (eDRAM) as the primary storage for LLM serving in edge device, which offers higher storage density compared to SRAM. However, to ensure data integrity, eDRAM needs periodic refresh operations, which are power-intensive. To reduce eDRAM costs and improve overall system performance, we propose~\textit{Kelle}, a software-hardware co-design solution optimized for deploying LLMs on eDRAM-based edge systems. Combined with our fine-grained memory eviction, recomputation, and refresh control algorithms, the \textit{Kelle} accelerator delivers a $3.9\times$ speedup and $4.5\times$ energy savings compared to existing baseline solutions.
• Abstract（参考訳）: エッジデバイス上での大規模言語モデル(LLM)の実行は、レイテンシの低減、リアルタイム処理の改善、プライバシの向上に不可欠である。 デバイス上で直接推論を行うことで、データはクラウドに送信する必要がなく、レスポンスが速くなり、ネットワーク接続への依存が軽減される。 しかし、エッジデバイスにLLMを実装することは、特にキーバリュー(KV)キャッシュの管理において、LLMサービスにおいて重要な役割を担っている。 入力テキストの長さが長くなるにつれて、KVキャッシュのサイズはシーケンス長とともに線形に増加し、メモリフットプリントとデータアクセスコストが大幅に向上する。 一方、エッジデバイスはメモリと計算能力が限られており、LLM推論に必要な大きなキャッシュの保存と効率的なアクセスが困難である。 KVキャッシュによるかなりのオーバーヘッドを軽減するため、我々は、SRAMに比べて高いストレージ密度を提供するエッジデバイスにおけるLLMのプライマリストレージとして、組み込みDRAM(eDRAM)を使うことを提案する。 しかし、データの整合性を確保するために、eDRAMは電力集約的な定期的なリフレッシュ操作を必要とする。 eDRAM のコスト削減とシステム全体の性能向上を目的として,eDRAM ベースのエッジシステムに LLM をデプロイするために最適化されたソフトウェアハードウェアの共同設計ソリューションである~\textit{Kelle} を提案する。 メモリの細粒化、再計算、リフレッシュ制御のアルゴリズムと組み合わせて、‘textit{Kelle}アクセラレーターは既存のベースラインソリューションと比較して3.9\times$のスピードアップと4.5\times$の省エネを提供する。

関連論文リスト

• Accelerating LLM Inference via Dynamic KV Cache Placement in Heterogeneous Memory System [20.652641518700346]
  大規模言語モデル(LLM)推論は、メモリ帯域幅によってますます制限される。 現代のAIハードウェアは、高速オフパッケージDRAMと高速帯域メモリ(HBM)を統合している。 本研究は,キャパシティ制約下での集積帯域利用を最大化するために,そのようなシステムにまたがる動的KVキャッシュ配置について検討する。
  論文  参考訳（メタデータ） (2025-08-17T19:07:08Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [58.044803442346115]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおいてブレークスルーを実現するが、推論中に計算の複雑さやメモリオーバーヘッドに悩まされる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークであり、遅延双方向スパースキャッシングを経由するスパースアテンションである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
  LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。 LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
  論文  参考訳（メタデータ） (2025-07-14T19:09:57Z)
• InstInfer: In-Storage Attention Offloading for Cost-Effective Long-Context LLM Inference [10.115950753431528]
  大規模言語モデル(LLM)は、生成AIにおいて重要なマイルストーンである。 オフラインLLM推論におけるコンテキスト長とバッチサイズの増加は、キー値(KV)キャッシュのメモリ要求をエスカレートする。 いくつかのコスト効率の良いソリューションは、ホストメモリを利用するか、オフラインの推論シナリオのストレージコストを削減するよう最適化されている。 InstInferは、最も性能クリティカルな計算(つまり、復号フェーズにおける注意)とデータ(すなわちKVキャッシュ)を計算ストレージドライブ(CSD)にオフロードする。 InstInferがロングシーケンス推論のためのスループットを改善
  論文  参考訳（メタデータ） (2024-09-08T06:06:44Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• Efficient LLM inference solution on Intel GPU [19.154403468201924]
  トランスフォーマーベースの大規模言語モデル(LLM)は多くの分野で広く使われている。 低レイテンシかつ高スループットで効率的なLLM推論ソリューションを提案する。 標準的なHuggingFaceの実装と比較して、提案されたソリューションは最大で7倍のトークンレイテンシと27倍のスループットを実現している。
  論文  参考訳（メタデータ） (2023-12-19T05:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。