論文の概要: Pallas: A Proactive KV Cache Migration Framework for LLM Inference in AI-RAN

• arxiv url: http://arxiv.org/abs/2608.16477v1
• Date: Mon, 17 Aug 2026 12:16:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.677783
• Title: Pallas: A Proactive KV Cache Migration Framework for LLM Inference in AI-RAN
• Title（参考訳）: Pallas: AI-RANにおけるLLM推論のためのプロアクティブなKVキャッシュマイグレーションフレームワーク
• Abstract要約: PallasはKV-cacheマイグレーションフレームワークで、ハンドオーバ前に予測されたターゲットの推論状態を準備する。 我々のvLLMベースのプロトタイプは、目標側回復アプローチよりも平均SITを2.28$-89.68$で減らし、ソース側フォワードと比較して平均ITLを16.0%--50.0%で減らした。
• 参考スコア（独自算出の注目度）: 21.236017031644963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI-RAN brings large language model (LLM) serving close to mobile users, but cellular handover can separate an active request from its inference state: the user attaches to a target base station (gNB) while the large and growing key-value (KV) cache remains at the source. Retaining inference at the source preserves service continuity but persistently increases inter-token latency (ITL), whereas recovering the state at the target restores serving locality but requires KV-cache transfer, recomputation, or a combination of both only after handover, directly prolonging service interruption time (SIT). This work presents Pallas, a \textit{proactive} KV-cache migration framework that prepares the inference state at the predicted target before handover, in parallel with ongoing source-side inference and token delivery. At the preparation trigger, Pallas partitions the token sequence into a stable historical prefix and an evolving suffix. The target reconstructs the prefix through local prefill, while the source streams the KV blocks generated for the suffix. At handover, the target assembles both portions into an up-to-date KV cache and resumes decoding locally, leaving only unfinished preparation to contribute to SIT. An online scheduler selects the \textit{prefetching window}, which determines how early preparation begins before handover, based on mobility predictions and runtime telemetry. Across three LLMs and $100$--$500~\mathrm{Mbps}$ inter-gNB links, our vLLM-based prototype reduces average SIT by factors of $2.28$--$89.68$ over target-side recovery approaches and lowers average ITL by $16.0\%$--$50.0\%$ compared with source-side forwarding.
• Abstract（参考訳）: AI-RANは、モバイルユーザに近い大きな言語モデル(LLM)を提供するが、セルハンドオーバは、アクティブな要求をその推論状態から切り離すことができる。 ソースでの推論は、サービス継続性を保持するが、継続時間(ITL)を持続的に増加させる一方、ターゲットでの状態回復は、ローカリティを提供するが、KVキャッシュ転送、再計算、あるいはハンドオーバ後にのみ、サービス中断時間(SIT)を直接延長する必要がある。 Pallasは、現在進行中のソース側の推論とトークン配信と並行して、ハンドオーバ前に予測されたターゲットでの推論状態を準備する、textit{proactive} KV-cacheマイグレーションフレームワークである。 準備のトリガで、Pallasはトークンシーケンスを安定した歴史的接頭辞と進化した接尾辞に分割する。 ターゲットはプレフィルを介してプレフィックスを再構築し、ソースは接尾辞のために生成されたKVブロックをストリームする。 ハンドオーバ時に、ターゲットは両方の部分を最新のKVキャッシュにアセンブルし、ローカルで復号化を再開し、未完成の準備だけを残してSITに貢献する。 オンラインスケジューラが \textit{prefetching window} を選択し、移動予測と実行時テレメトリに基づいて、ハンドオーバの前に早期の準備が始まるかを決定する。 3つのLCMと100$--$500~\mathrm{Mbps}$-gNBのリンクで、我々のvLLMベースのプロトタイプは、目標側リカバリアプローチよりも平均SITを2.28$-89.68$で削減し、ソース側フォワードと比較して平均ILLを16.0$-50.0$で下げる。

関連論文リスト

• TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving [8.123227365399869]
  タスク指向のプレフィックス・アウェア・スケジューラTOPASを提案する。 TOPASは、各タスクの最も長いサービスパスの期待される削減をトレードオフすることで、候補の事後状態をスコアする。 TOPASは各ワークロードとメトリックの最高のパフォーマンスベースラインと比較して、平均/p99 JCTを最大39.8%削減する。
  論文  参考訳（メタデータ） (2026-08-26T08:33:10Z)
• Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection [0.0]
  ステートスペースモデル(SSM)は、建設によるプレフィルコストを回避する。 文書コーパスをSSM隠蔽状態としてオフラインでプリエンコードする。 プリフィルレイテンシは、エッジハードウェアで$sim$27 sから$6 msに削減される。
  論文  参考訳（メタデータ） (2026-08-03T17:43:36Z)
• LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding [11.799175681800696]
  キーバリュー(KV)キャッシュは、生成されたトークンに対する過去の計算を再利用することで、大きな言語モデル(LLM)の推論を加速する。 既存のソリューションは、再利用をプレフィックスに制限するか、位置再符号化のために高価なメモリの実体化を必要とする。 本稿では、遅延位置符号化をカーネル化し、ゼロコピーで位置に依存しないKVの再利用を可能にする新しいアテンション機構であるLazyAttentionを紹介する。
  論文  参考訳（メタデータ） (2026-06-03T00:12:22Z)
• Time Series as Language: A Universal Tokenizer for General-Purpose Time Series Foundation Models [58.73838451441261]
  連続時間列(TS)を離散トークンに変換するユニバーサルトークンライザUniTokと、これらのトークン上でNTPを介して事前訓練された基礎モデルUniTok-FMを紹介する。 UniTok-FMは、ゼロショットとプロンプトブースト予測をサポートし、トレーニング不要なインコンテキスト推論による少数ショットの生成と分類をサポートする汎用基盤モデルである。
  論文  参考訳（メタデータ） (2026-05-31T16:04:11Z)
• GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs [97.36238579001544]
  コンテキスト長が拡張された大規模言語モデル(LLM)は、キー値(KV)キャッシュに依存して、以前のトークンに対する注意をサポートする。 KVキャッシュを維持することは、KVキャッシュ圧縮メソッドを動機付け、かなりのメモリオーバーヘッドを引き起こす。 GRKVは,圧縮キャッシュとフルキャッシュのアテンション出力の差を直接最小化する,トレーニング不要なKV-cacheマージ手法である。
  論文  参考訳（メタデータ） (2026-05-29T10:16:30Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• Stateful Inference for Low-Latency Multi-Agent Tool Calling [0.0]
  LLMベースのシステムでは,マルチエージェント・ツール・コールが主要なインタラクション・パターンになりつつある。 本稿では,従来のサービスにおける$O(n_t)=ターン当たりのコストを$O(_t)$デルタのみのコストに変換する,ステートフルな推論アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-05-25T19:27:49Z)
• SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference [8.037785679532316]
  SparKVは、クラウドベースのKVストリーミングとオンデバイス計算を組み合わせた、適応的なKVローディングフレームワークである。 また,SparKVは,リクエスト毎のエネルギー消費を1.5倍から3.3倍に抑えつつ,応答品質に無視できる影響を与えながら,第1次から第1次までの時間を1.3$x-5.1x削減することを示した。
  論文  参考訳（メタデータ） (2026-04-23T02:55:31Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs [11.980880525012056]
  大規模言語モデルは、推論遅延を最小限に抑えるためにキーバリュー(KV)キャッシングに大きく依存する。 CacheBlend、EPIC、SAM-KVといった既存のソリューションは、トークンのサブセットを選択的に再計算することでこの問題を軽減する。 我々は,KV Packetを提案する。KV Packetは,キャッシュされた文書を,軽量なトレーニング可能なソフトトーケンアダプタでラップした不変パケットとして扱う,再計算不要なキャッシュ再利用フレームワークである。
  論文  参考訳（メタデータ） (2026-04-14T18:50:47Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• KVCOMM: Online Cross-context KV-cache Communication for Efficient LLM-based Multi-agent Systems [25.770173970846884]
  KVCOMMは、マルチエージェント推論における効率的なプリフィルを可能にする、トレーニング不要のフレームワークである。 KVCOMMはキャッシュされたサンプル終端アンカーのプールを参照することにより、共有コンテンツのKVキャッシュを推定し、調整する。 KVCOMMは多様なマルチエージェントワークロード間で70%以上の再利用率を達成する。
  論文  参考訳（メタデータ） (2025-10-14T18:00:01Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。