論文の概要: Ripple: Deadline-Aware CPU-GPU Sharing for Embodied Inference

• arxiv url: http://arxiv.org/abs/2611.01067v1
• Date: Sat, 31 Oct 2026 16:06:36 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:19:03.281827
• Title: Ripple: Deadline-Aware CPU-GPU Sharing for Embodied Inference
• Title（参考訳）: Ripple: 身体的推論のためのデッドライン対応CPU-GPU共有
• Abstract要約: 本稿では、モデル由来のGPUメモリボリュームとCPU完了フィードバックを組み合わせて干渉を制御するCPU-GPU共スケジューリング器Rippleを紹介する。 Rippleはテスト済みの期限設定で、2%のCPUデッドラインミス目標とVLMデッドラインを一貫して満たしている。
• 参考スコア（独自算出の注目度）: 8.07015804557532
• License:
• Abstract: Unified-memory edge devices increasingly run LLM/VLM inference alongside time-critical CPU tasks for perception and control. GPU memory traffic can overwhelm these tasks, yet platforms such as DGX Spark expose neither bandwidth counters nor direct bandwidth regulation. We present Ripple, a CPU-GPU co-scheduler that combines model-derived GPU memory volumes with CPU completion feedback to regulate interference. Ripple divides inference into pausable, layer-based units and translates each CPU job's deadline slack into a GPU-byte budget, admitting work within the budgets of all overlapping jobs. Online updates track changing interference, while deadline-aware pacing and judicious SM footprint narrowing preserve inference progress. Implemented with SGLang engine hooks and a central scheduler, we evaluate Ripple on DGX Spark with four robotic CPU task mixes and LLM/VLM inference. It is the only evaluated approach that consistently meets the 2% CPU deadline-miss target and VLM deadlines across the tested deadline settings while retaining best-effort LLM throughput.
• Abstract（参考訳）: 統一メモリエッジデバイスは、認識と制御のための時間クリティカルなCPUタスクと並行してLLM/VLM推論を実行している。 GPUメモリのトラフィックはこれらのタスクを圧倒する可能性があるが、DGX Sparkのようなプラットフォームは帯域幅カウンタも直接帯域幅規制も公開しない。 本稿では、モデル由来のGPUメモリボリュームとCPU完了フィードバックを組み合わせて干渉を制御するCPU-GPU共スケジューリング器Rippleを紹介する。 Rippleは推論をページング可能なレイヤベースのユニットに分割し、各CPUジョブの期限をGPUバイトの予算に変換することで、重複するすべてのジョブの予算内での作業を認める。 オンラインアップデートでは、変更の干渉が追跡され、デッドラインアウェアのペーシングと司法的なSMフットプリントが推論の進捗を狭める。 SGLangエンジンフックと中央スケジューラを用いて,4つのロボットCPUタスクとLLM/VLM推論を組み合わせたDGX Spark上でのRippleの評価を行った。 最高のLCMスループットを維持しつつ、テスト済みのデッドライン設定で2%のCPUデッドラインミス目標とVLMデッドラインを一貫して満たす唯一の評価されたアプローチである。

関連論文リスト

• DualPace: Decoupled Scheduling and Cooperative GPU--CPU Decoding for LLM Serving [1.8618812685775554]
  大規模言語モデル(LLM)は推論に依存するが、キー値キャッシュはシーケンス長と制限とともに増大する。 CPU依存の要求は、スケジューラが適切な機会を公開する場合にのみ進行する。 我々は、ホストを独立してスケジュールされたデコードエンジンに変えるLLMサービスであるDualPaceを紹介する。
  論文  参考訳（メタデータ） (2026-10-24T07:10:20Z)
• Profiling-Driven Adaptive Distributed Transformer Inference on Embedded Edge Deployment [60.442064966340524]
  本稿では、WiFi経由で接続されたNVIDIA Jetson Orin Nanoデバイスに関するプロトタイプ研究を行う。 主な発見は、主なボトルネックは、ネットワーク帯域幅だけでなく、通信中のCPU-GPUステージングである。 実験によると、この戦略はフルテンソル交換と比較して遅延を65%-77%減らし、エネルギー消費を34%-52%減らしている。
  論文  参考訳（メタデータ） (2026-05-25T10:39:28Z)
• Understand and Accelerate Memory Processing Pipeline for Disaggregated LLM Inference [45.78442013449325]
  大規模言語モデルは、複雑な推論をサポートするための効率的な長文処理と生成機構に依存している。 これらの最適化は、Prepare Memory、Compute Relevancy、Retrieval、Apply to Inferenceという4段階のメモリ処理パイプラインに統合できることを示す。 この知見に触発されて、textbheterogeneous システムはメモリ処理の高速化やエンドツーエンドの推論に適していると論じる。
  論文  参考訳（メタデータ） (2026-03-30T21:03:39Z)
• Efficient Low Rank Attention for Long-Context Inference in Large Language Models [41.24530756499533]
  低ランククエリとキーアテンション(LRQK)は、プリフィル段階で、完全精度クエリとキー行列をコンパクトなランク-(r)要素に分解するフレームワークである。 トップ(k)トークンと、最近のトークンの小さな固定セットだけを選択することで、LRQKは、完全に精度の低いKVペアだけを転送するヒットアンドミス機構を備えた混合GPU-CPUキャッシュを使用する。
  論文  参考訳（メタデータ） (2025-10-25T11:43:27Z)
• Pushing the Envelope of LLM Inference on AI-PC [45.081663877447816]
  ウルトラロービットモデル(1/1.58/2-bit)は、同じモデルサイズを用いて、その完全精度のモデルのパープレキシティとエンドタスクのパフォーマンスとを一致させる。 最先端の推論ランタイム(例えばbitnet)の計算効率は未調査のままである。 まず1ビットと2ビットのマイクロカーネルを設計・実装し,計算効率の最大化を実現した。 我々は、現在のSOTAランタイムビットネットよりも優れた2ビットモデルを用いて、エンドツーエンドの推論結果を示す。
  論文  参考訳（メタデータ） (2025-08-08T23:33:38Z)
• Nexus:Proactive Intra-GPU Disaggregation of Prefill and Decode in LLM Serving [4.309392302169281]
  エンジンレベルのプリフィル・デコード(PD)デアグリゲーションは干渉を避けるが、高いハードウェアと調整オーバーヘッドを引き起こす。 PDは、最大2.2倍のスループット、20倍のTTFT、2.5倍のTBTを達成する。
  論文  参考訳（メタデータ） (2025-07-09T07:27:18Z)
• KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation [7.204881999658682]
  キーバリューキャッシュは、大きな言語モデルの中間アクティベーションを格納するために使用される。 KVキャッシュに必要なメモリは急速に増加し、しばしばGPUメモリの容量を超える。 既存の方法は、GPU計算をI/Oで重複させたり、CPU-GPUの不均一な実行を採用することで、これらの問題に対処しようとする。 本稿では,CPUが最初にアクティベーションの部分集合を転送する,効率的なI/O対応LPM推論手法であるKVPRを紹介する。 KVPRは、最先端のアプローチと比較して最大で35.8%のレイテンシと46.2%のスループットを実現している。
  論文  参考訳（メタデータ） (2024-11-26T04:03:14Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。