論文の概要: Shared Context, Separate Engines: Stateful Streaming Inference for Multimodal LLMs on Edge SoCs
- arxiv url: http://arxiv.org/abs/2610.35309v3
- Date: Thu, 29 Oct 2026 06:27:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.502931
- Title: Shared Context, Separate Engines: Stateful Streaming Inference for Multimodal LLMs on Edge SoCs
- Title（参考訳）: 共有コンテキスト, 分離エンジン:エッジSoC上でのマルチモーダルLLMのステートフルストリーミング推論
- Abstract要約: ストリーミングワークロードは、取り込みと応答の重複を可能にするが、バックエンドローカルのKVステートは、その履歴を構築するエンジンにクエリをバインドする。
nameはエンジン固有のKV状態から論理履歴を分離し、任意の言語エンジンがストリームを継続できるようにする。
フェーズレベルの状態継続は、あるエンジンがクエリをプリフィルし、別のエンジンが解答をデコードし、最初のエンジンが取り込みを再開する。
- 参考スコア（独自算出の注目度）: 3.8410857326246792
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Edge SoCs combine CPUs, GPUs, and NPUs, yet runtimes for multimodal large language models (MLLMs) keep generation on one engine and leave others idle. Streaming workloads allow ingestion and answering to overlap, but backend-local KV state binds queries to the engine that built their history. Stage performance and co-running interference vary, so no single placement wins across SoCs and workloads. \name separates logical history from engine-specific KV state so any language engine can continue a stream. Stateful Streaming Generation overlaps ingestion and answering, while Concurrent Sequence Generation serves ready queries in parallel. Phase-level state continuation lets one engine prefill a query and another decode the answer, freeing the first to resume ingestion. State-Driven Execution Planning (SDEP) chooses paths by predicted completion time and sets each engine's share of queries using arrival rates and measured service times. Across M4 Max, RK3588, and QCS6490, \name beats the strongest single-engine baselines, even when they reuse context. On M4 Max, SDEP cuts live-stream p95 time to first token by $76\%$, with every first token within one second, and raises throughput under backlog by up to $35\%$ over Metal-only execution with context reuse. On two RK3588 streams, SDEP delivers $19.6\%$ higher request throughput than the best single engine with context reuse and $27.2\%$ more than parallel engines without shared state. Stateful Streaming Generation reaches up to $2.48\times$ serial throughput on the same engines. Every answer matches its serial reference.
- Abstract（参考訳）: Edge SoCはCPU、GPU、NPUを組み合わせていますが、マルチモーダルな大規模言語モデル(MLLM)のランタイムは1つのエンジンで生成し、他のエンジンはアイドル状態のままです。
ストリーミングワークロードは、取り込みと応答の重複を可能にするが、バックエンドローカルのKVステートは、その履歴を構築するエンジンにクエリをバインドする。
ステージパフォーマンスと共同実行の干渉が異なるため、SoCとワークロード間で単一の配置が勝利することはない。
エンジン固有のKV状態から論理履歴を分離し、任意の言語エンジンがストリームを継続できるようにする。
ステートフルストリーミング生成は、取り込みと応答を重複させ、コンカレントシーケンス生成は、並列に準備されたクエリを提供する。
フェーズレベルの状態継続は、あるエンジンがクエリをプリフィルし、別のエンジンが解答をデコードし、最初のエンジンが取り込みを再開する。
State-Driven Execution Planning (SDEP)は、予測完了時間によってパスを選択し、到着率と測定されたサービス時間を使用して各エンジンのクエリの共有を設定する。
M4 Max、RK3588、QCS6490と並んで、 \nameはコンテキストを再利用しても最強のシングルエンジンベースラインを上回っている。
M4 Maxでは、SDEPはライブストリームのp95時間を7,6\%$に削減し、最初のトークンを1秒以内に1つずつ持つ。
2つのRK3588ストリームでは、SDEPは最高の単一エンジンよりも19.6\%高い要求スループットを提供し、共有状態のない並列エンジンよりも27.2\%高い。
ステートフル・ストリーミング・ジェネレーションは、同じエンジン上で最大2.48\times$シリアルスループットに達する。
すべての答えはシリアル参照と一致します。
関連論文リスト
- Finite State Machine-Based Traffic Orchestration for Multi-Engine Analysis Platforms [3.208915921397701]
アプリケーションセキュリティプラットフォームは、単一のプロキシから複数の独立した分析エンジンにライブトラフィックをルーティングする。
各エンジンは独自のスケジュールでトラフィックの変更を期待するが、プロキシはリソース毎に1つの転送命令のみを栄誉することができる。
本稿では,全エンジンの複合ニーズを単一有限状態マシンとしてモデル化するトラヒックオーケストレーション手法を提案する。
論文 参考訳（メタデータ） (2026-10-05T04:36:52Z) - SparseEngine: Sparse-First Inference Engine [13.424187319398238]
長文LLMエージェントは、KVキャッシュメモリとアテンション計算を歪ませる相互作用履歴を蓄積する。
提案するSparseEngineは,各メソッドがKV表現を制御可能な,ベースアップされたスパースファースト推論エンジンである。
SparseEngineは4つのカテゴリにまたがる15のメソッドをサポートし、Chain Cacheを通じて状態管理のクロスリクエストを可能にする。
論文 参考訳（メタデータ） (2026-09-30T06:05:58Z) - Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation [53.851483224691634]
動作条件付きマルチビュービデオを生成するためにUnreal Engine上に構築した大規模合成データ生成パイプラインを提案する。
パイプラインは1080pビデオの2,691時間、720pビデオの6,076時間を生成する。
論文 参考訳（メタデータ） (2026-09-03T08:58:04Z) - Mystra: Declarative Dynamic Taint Analysis via Shadow Virtual Machine [24.06151974572701]
JavaScriptやPythonのようなインタプリタ言語のための動的テナント解析(DTA)には3つの機能が必要である。
Mystraは宣言型テナント仕様言語で、形式的なオペレーションセマンティクスを備えている。
Sharは、共有コアエンジンと3つのランタイム上のインスタンスを含むツールである。
論文 参考訳（メタデータ） (2026-07-14T03:31:14Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。
AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。
これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
論文 参考訳（メタデータ） (2026-06-01T17:56:35Z) - ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。
MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。
本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
論文 参考訳（メタデータ） (2026-05-26T04:16:56Z) - Attention Once Is All You Need: Efficient Streaming Inference with Stateful Transformers [0.0]
Flash Queriesは、データ到着間のアイドルサイクルを再利用し、登録された質問を事前に評価し、ユーザが尋ねる前にキャッシュされた回答を返す。
セル予算の受け入れとプレフィックスを意識したグループプレフィルを備えたマルチテナント連続バッチスケジューラは、数十のステートフルセッションを1つのGPU上で共存させることができる。
ストリーミング市場データベンチマークでは、参照実装は従来の推論エンジンよりも最大5.9倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2026-05-13T17:06:15Z) - Autoregressive Universal Video Segmentation Model [76.53497940205294]
Autoregressive Universal Model (AUSM) は、プロンプトとアンプロンプトの両方を統一する単一のアーキテクチャである。
AUSMは、以前のユニバーサルストリーミングビデオセグメンテーション法より優れ、16フレームシーケンスでのトレーニングを最大2.5倍高速化する。
論文 参考訳（メタデータ） (2025-08-26T17:59:13Z) - PockEngine: Sparse and Efficient Fine-tuning in a Pocket [62.955793932377524]
さまざまなエッジデバイスで微調整が可能な,小型でスパースで効率的なエンジンであるPockEngineを紹介します。
PockEngineはスパースバックプロパゲーションをサポートし、測定メモリの節約とレイテンシの削減でモデルをスパース更新する。
注目すべきなのは、PockEngineはNVIDIA Jetson AGX OrinのLLaMav2-7Bを550トークン/秒で微調整できることだ。
論文 参考訳（メタデータ） (2023-10-26T19:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。