論文の概要: Shared Context, Separate Engines: Streaming Vision--Language Inference on Edge SoCs
- arxiv url: http://arxiv.org/abs/2610.35309v2
- Date: Tue, 27 Oct 2026 04:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.17338
- Title: Shared Context, Separate Engines: Streaming Vision--Language Inference on Edge SoCs
- Title（参考訳）: 共有コンテキスト、分離されたエンジン: ストリーミングビジョン--エッジSoCの言語推論
- Abstract要約: ステートフル・ストリーミング・ジェネレーションは別のエンジンで新しいフレームを取り込み、コンカレント・シークエンス・ジェネレーションは異なる準備の整った要求を並列に処理する。
名前は、Apple M4 Max、Rockchip RK3588、Qualcomm QCS6490のシングルエンジンベースラインを抜いた。
- 参考スコア（独自算出の注目度）: 3.8410857326246792
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Edge SoCs pack CPUs, GPUs, and NPUs, yet vision--language model (VLM) runtimes keep generation on one engine and leave the others idle. Streaming VLMs expose further parallelism: new frames arrive while earlier queries are still being answered. Engines differ in compute and memory access and contend when they co-run, so no single placement of stages wins across SoCs and workloads. Backend-local KV state keeps other engines from continuing the work. \name coordinates heterogeneous accelerators to execute stateful VLM inference concurrently. It separates a stream's versioned context from each engine's KV state, so any engine can continue the stream by reusing, importing, or reconstructing that state. Stateful Streaming Generation ingests new frames on one engine while another answers, and Concurrent Sequence Generation serves different ready requests in parallel. State-aware dispatch sends each request to the engine expected to finish it first. Each answer reads a fixed, published version of its history and matches its serial reference. \name beats the strongest single-engine baselines on Apple M4 Max, Rockchip RK3588, and Qualcomm QCS6490, even when they reuse context. On two RK3588 video streams, it delivers $19.6\%$ more throughput than the best single engine with context reuse and $27.2\%$ more than parallel engines without shared state. Cross-engine KV import cuts first-token latency by a factor of $4.6$ over prefix recomputation. Stateful Streaming Generation delivers up to $2.48\times$ the throughput of serial execution, and state-aware dispatch cuts query completion time by up to $72.7\%$.
- Abstract（参考訳）: Edge SoCはCPU、GPU、NPUを梱包するが、視覚言語モデル(VLM)ランタイムは1つのエンジンで生成し、他のエンジンはアイドル状態のままである。
新しいフレームが到着し、以前のクエリがまだ答えられている間、VLMはさらなる並列性を公開する。
エンジンは計算とメモリアクセスが異なるため、共同実行時に競合する。
バックエンドローカルなKVステートは、他のエンジンが作業を続けるのを防ぐ。
\nameは、ステートフルなVLM推論を同時に実行するヘテロジニアスアクセラレータをコーディネートする。
ストリームのバージョン付きコンテキストを各エンジンのKV状態から分離するので、どのエンジンもその状態の再利用、インポート、再構築によってストリームを継続することができる。
ステートフル・ストリーミング・ジェネレーションは別のエンジンで新しいフレームを取り込み、コンカレント・シークエンス・ジェネレーションは異なる準備の整った要求を並列に処理する。
ステートアウェアのディスパッチは、各リクエストを最初に終了すると予想されるエンジンに送信する。
各回答は、その履歴の固定された公開バージョンを読み出し、そのシリアル参照と一致する。
\nameは、Apple M4 Max、Rockchip RK3588、Qualcomm QCS6490で最大のシングルエンジンベースラインを上回っている。
2つのRK3588ビデオストリームでは、コンテクストを再利用した最高のシングルエンジンよりも19.6\%のスループットを提供し、共有状態のない並列エンジンよりも27.2\%のスループットを提供する。
クロスエンジンのKVインポートはプレフィックス再計算で4.6ドルのレイテンシを削減した。
Stateful Streaming Generationは、シリアル実行のスループットを最大$2.48\timesで提供し、ステートアウェアディスパッチはクエリ完了時間を最大$72.7\%まで削減する。
関連論文リスト
- Finite State Machine-Based Traffic Orchestration for Multi-Engine Analysis Platforms [3.208915921397701]
アプリケーションセキュリティプラットフォームは、単一のプロキシから複数の独立した分析エンジンにライブトラフィックをルーティングする。
各エンジンは独自のスケジュールでトラフィックの変更を期待するが、プロキシはリソース毎に1つの転送命令のみを栄誉することができる。
本稿では,全エンジンの複合ニーズを単一有限状態マシンとしてモデル化するトラヒックオーケストレーション手法を提案する。
論文 参考訳（メタデータ） (2026-10-05T04:36:52Z) - SparseEngine: Sparse-First Inference Engine [13.424187319398238]
長文LLMエージェントは、KVキャッシュメモリとアテンション計算を歪ませる相互作用履歴を蓄積する。
提案するSparseEngineは,各メソッドがKV表現を制御可能な,ベースアップされたスパースファースト推論エンジンである。
SparseEngineは4つのカテゴリにまたがる15のメソッドをサポートし、Chain Cacheを通じて状態管理のクロスリクエストを可能にする。
論文 参考訳（メタデータ） (2026-09-30T06:05:58Z) - Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation [53.851483224691634]
動作条件付きマルチビュービデオを生成するためにUnreal Engine上に構築した大規模合成データ生成パイプラインを提案する。
パイプラインは1080pビデオの2,691時間、720pビデオの6,076時間を生成する。
論文 参考訳（メタデータ） (2026-09-03T08:58:04Z) - Mystra: Declarative Dynamic Taint Analysis via Shadow Virtual Machine [24.06151974572701]
JavaScriptやPythonのようなインタプリタ言語のための動的テナント解析(DTA)には3つの機能が必要である。
Mystraは宣言型テナント仕様言語で、形式的なオペレーションセマンティクスを備えている。
Sharは、共有コアエンジンと3つのランタイム上のインスタンスを含むツールである。
論文 参考訳（メタデータ） (2026-07-14T03:31:14Z) - Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。
LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。
まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。
第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文 参考訳（メタデータ） (2026-06-05T07:29:20Z) - AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。
AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。
これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
論文 参考訳（メタデータ） (2026-06-01T17:56:35Z) - ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。
MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。
本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
論文 参考訳（メタデータ） (2026-05-26T04:16:56Z) - Attention Once Is All You Need: Efficient Streaming Inference with Stateful Transformers [0.0]
Flash Queriesは、データ到着間のアイドルサイクルを再利用し、登録された質問を事前に評価し、ユーザが尋ねる前にキャッシュされた回答を返す。
セル予算の受け入れとプレフィックスを意識したグループプレフィルを備えたマルチテナント連続バッチスケジューラは、数十のステートフルセッションを1つのGPU上で共存させることができる。
ストリーミング市場データベンチマークでは、参照実装は従来の推論エンジンよりも最大5.9倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2026-05-13T17:06:15Z) - Autoregressive Universal Video Segmentation Model [76.53497940205294]
Autoregressive Universal Model (AUSM) は、プロンプトとアンプロンプトの両方を統一する単一のアーキテクチャである。
AUSMは、以前のユニバーサルストリーミングビデオセグメンテーション法より優れ、16フレームシーケンスでのトレーニングを最大2.5倍高速化する。
論文 参考訳（メタデータ） (2025-08-26T17:59:13Z) - PockEngine: Sparse and Efficient Fine-tuning in a Pocket [62.955793932377524]
さまざまなエッジデバイスで微調整が可能な,小型でスパースで効率的なエンジンであるPockEngineを紹介します。
PockEngineはスパースバックプロパゲーションをサポートし、測定メモリの節約とレイテンシの削減でモデルをスパース更新する。
注目すべきなのは、PockEngineはNVIDIA Jetson AGX OrinのLLaMav2-7Bを550トークン/秒で微調整できることだ。
論文 参考訳（メタデータ） (2023-10-26T19:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。