論文の概要: ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference

• arxiv url: http://arxiv.org/abs/2610.41160v1
• Date: Fri, 30 Oct 2026 02:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.592212
• Title: ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference
• Title（参考訳）: ARK:分散LDM推論におけるKVキャッシュ転送のためのルーティング衝突を回避する
• Abstract要約: 本稿では,分散象流路予約機構であるARKについて述べる。 ARKは送信者をコーディネートして、ハッシュマップが平行して異なるスピンに流れるソースポートを選択する。 パッケージレベルのRDMAシミュレーションでは、ARKは平均値とP95 FCTを適度な負荷で27.3%、34.0%まで下げている。
• 参考スコア（独自算出の注目度）: 0.6649753747542209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disaggregated LLM inference separates the prefill and decode phases across GPU pools, generating massive KV-cache transfers. Because these transfers last hundreds of milliseconds to seconds, they behave as mega elephant flows that dominate link bandwidth utilization. In this regime, stateless ECMP can perform poorly: hash collisions may overload one spine link while leaving others idle, stretching transfer times by seconds. Yet this same persistence makes coordination practical. Since these flows are long-lived, even lightweight one-to-all coordination can be amortized over their lifetime. We present ARK, a distributed elephant-flow path reservation mechanism. ARK coordinates senders to choose source ports whose hashes map concurrent flows onto distinct spines, without requiring switch changes or receiver-side packet reordering. Packet-level RDMA simulations show that ARK reduces mean and P95 FCT by up to 27.3% and 34.0% under moderate load, and further reduces mean TTFT by up to 12.9%.
• Abstract（参考訳）: 分散LDM推論はGPUプール間のプリフィルとデコードフェーズを分離し、大規模なKVキャッシュ転送を生成する。 これらの転送は数百ミリ秒から秒間続くので、リンクの帯域利用を独占する巨大な象のフローとして振る舞う。 ハッシュ衝突は1つのスピンリンクをオーバーロードし、他のスピンリンクはアイドル状態のままにして、転送時間を秒単位で延ばす。 しかし、同じ永続性によってコーディネーションは実践的になる。 これらの流れは長寿命であるため、軽量な一対一の調整でさえ、その生涯にわたって償却することができる。 本稿では,分散象流路予約機構であるARKについて述べる。 ARKは送信者に、スイッチ変更や受信側パケットの再注文を必要とせずに、ハッシュマップが並列に異なるスピンに流れるソースポートを選択するように調整する。 パッケージレベルのRDMAシミュレーションでは、ARKは平均とP95 FCTを適度な負荷で27.3%、34.0%削減し、平均TTFTを12.9%削減している。

関連論文リスト

• TP-JSCC: Efficient Token Pruning and Joint Source-Channel Coding for LVLMs-based 3D-VQA in Cloud-Edge Collaboration [53.21711959121914]
  大規模視覚言語モデル (LVLMs) は3次元視覚質問応答のための資源制約型エンボディエージェントに展開される。 帯域幅に制限されたノイズの多いチャネル上で、大量の視覚データをクラウドにオフロードすることで、厳しいレイテンシと送信歪みが発生します。 クラウドエッジコラボレーションにおけるLVLMsベースの3D-VQAのための,効率的なトークンプルーニングとジョイントソースチャネル符号化手法であるTP-JSCCを提案する。
  論文  参考訳（メタデータ） (2026-10-26T14:17:36Z)
• Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving [5.988219451193416]
  プリフィル・デコード(P/D)は、2つのフェーズの特殊化と分離により、サービス効率を向上させる。 しかし、位相需要は静的ではなく、LLMの大規模な運用では、未キャッシュ入力と出力トークンの比率が、微小時間スケールで最大4.7倍に達することが観察されている。 ノードロールを変更することなく、この境界を弾性的にするCrossflowを紹介します。
  論文  参考訳（メタデータ） (2026-09-22T21:35:14Z)
• NetKV: Network-Aware Decode Instance Selection for Disaggregated LLM Inference [0.0]
  現在のスケジューラは、計算負荷とプレフィックスキャッシュのローカリティのみをルートする。 ネットワーク用語を無視した場合、コンテキスト長が増加するにつれてキャッシュのみのスケジューリングが任意に準最適であることを示す。 我々は、NetKVがラウンドロビンで平均TTFTを21.2%、調整されたキャッシュ+ロード対応スケジューラで17.6%削減することを示した。
  論文  参考訳（メタデータ） (2026-06-02T17:06:57Z)
• QKVShare: Quantized KV-Cache Handoff for Multi-Agent On-Device LLMs [0.0]
  QKVShareは、エージェント間のKVキャッシュハンドオフを定量化するフレームワークである。 現在の結果は、オリジナルのドラフトよりも狭く明確なストーリーをサポートする。 結果、KVハンドオフをデバイス上で有望な方向とする。
  論文  参考訳（メタデータ） (2026-05-05T15:44:29Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Why Should the Server Do It All?: A Scalable, Versatile, and Model-Agnostic Framework for Server-Light DNN Inference over Massively Distributed Clients via Training-Free Intermediate Feature Compression [6.932768187544348]
  スプリットコンピューティングにおける通信負荷とサーバ負荷の両方を削減するためにIFを圧縮する、リトレーニングフリーでアーキテクチャに依存しないフレームワークであるSLICERを紹介した。 標準的なビジョンとLLMワークロード全体にわたって、SLICERはアップリンクボリュームを最大10倍、サーバGPU時間を最大4.4倍削減する。
  論文  参考訳（メタデータ） (2025-11-03T08:44:13Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling [10.298476019491146]
  Flow KVは非凝集型推論フレームワークである。 これにより、KVキャッシュの平均伝送遅延を0.944sから0.053sに96%削減できる。 これは、通常、計算の不均衡、極端な過負荷条件など、様々なシナリオでピークシステムのスループットを達成する。
  論文  参考訳（メタデータ） (2025-04-03T08:58:05Z)
• Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch [66.84195842685459]
  大規模言語モデル(LLM)のトレーニングは通常、トレーニング時間を短縮するために、多数のアクセラレータに分散される。 近年、DiLoCoのような分散アルゴリズムはそのようなコロケーション制約を緩和している。 我々は、数十億のパラメータのトレーニングを分散し、以前と同じような品質に到達できることを実験的に示す。
  論文  参考訳（メタデータ） (2025-01-30T17:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。