論文の概要: Cache-Aware Conv3D Lowering Across Embedded World-Model Decoders
- arxiv url: http://arxiv.org/abs/2609.31938v1
- Date: Fri, 25 Sep 2026 19:36:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 04:29:47.408478
- Title: Cache-Aware Conv3D Lowering Across Embedded World-Model Decoders
- Title(参考訳): キャッシュ対応のConv3Dが組み込みのワールドモデルデコーダをダウン
- Abstract要約: 本稿では,キャッシュ・アウェア・ローディングを導入し,因果Conv3D呼び出しをバッチ空間Conv2D操作として表現する。
64GBのJetson AGX Orin上のCosmos3-Edge-to-videoパイプライン全体にわたって、提案されたVAEデコーディングは、約7倍の速度で加速される。
- 参考スコア(独自算出の注目度): 11.234558926911483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative world models can provide visual rollouts for embodied planning, yet their feasibility on edge devices depends not only on the learned model but also on how the execution runtime represents its operations. We introduce a cache-aware lowering that expresses supported causal Conv3D calls as batched spatial Conv2D operations while preserving pretrained weights, temporal-cache semantics, convolution parameters, bias placement, and output layout. Across the complete Cosmos3-Edge image-to-video pipeline on a 64-GB NVIDIA Jetson AGX Orin, the proposed route accelerates VAE decoding by approximately $7\times$ and reduces complete-generation latency by more than $2\times$, while repeated decoder evaluations maintain complete fast-path coverage without fallbacks. The unchanged lowering also improves Cosmos3-Nano and transfers to LingBot-World's architecturally distinct Wan2.1 VAE. A clean-device comparison against fully specialized TensorRT shows that TensorRT provides a further $1.36\times$ steady-state improvement, but requires substantially greater per-module and per-runtime-state AOT specialization. Same-latent BF16 and FP32 evaluations characterize the finite-precision differences introduced by the alternative execution order. Together, these results position cache-aware lowering as a lightweight runtime optimization that recovers most of the available decoder acceleration without modifying the learned models themselves.
- Abstract(参考訳): 生成的世界モデルは、具体的計画のための視覚的なロールアウトを提供することができるが、エッジデバイスへの実現可能性は、学習したモデルだけでなく、実行ランタイムがその操作をどのように表現するかにも依存する。
キャッシュ・アウェア・ローディングを導入し,サポート対象の因果Conv3Dコールをバッチ空間Conv2D操作として表現し,事前トレーニングした重み,時間的キャッシュ意味論,畳み込みパラメータ,バイアス配置,出力レイアウトを保存する。
64GBのNVIDIA Jetson AGX Orin上のCosmos3-Edgeイメージ・トゥ・ビデオパイプライン全体にわたって、提案されたルートは、VAEデコーディングを約7\times$で加速し、フル世代のレイテンシを2\times$以上削減する。
変更されていない下降によりコスモス3-ナノは改善され、LingBot-World のアーキテクチャ上異なる Wan2.1 VAE に転送される。
完全に専門化されたTensorRTと比較すると、TensorRTはさらに1.36\times$の定常的改善を提供するが、モジュールごとの大幅な拡張と実行時ごとのAOT特殊化が必要である。
同様の遅延BF16とFP32の評価は、代替実行順序によって導入された有限精度差を特徴付ける。
これらの結果は、学習したモデル自体を変更することなく、利用可能なデコーダアクセラレーションの大部分を回復する軽量ランタイム最適化としてキャッシュアウェアの低下を位置付けている。
関連論文リスト
- Sol-H3: Recursive Self-Improvement for MiniMax-H3 Inference Acceleration on Sol-Engine across Cloud and Edge [49.97870278439677]
MiniMax-H3は、高機能で実運用レベルのオープンソースモデルである。
本稿では,効率的なアルゴリズム設計と最適化された演算子実装を統合したフルスタック推論パイプラインを提案する。
オーディオ付き5秒のビデオは、8xGB200ノードでリアルタイムより3.5倍高速に生成され、1つのDGX Sparkで1分以内のメモリ常駐が可能である。
論文 参考訳(メタデータ) (2026-09-28T13:15:07Z) - S$^2$GS: Structured Sparse Gaussian Streaming for Efficient Free-Viewpoint Video Reconstruction on Edge-IoT Devices [20.382017119921194]
Free-Viewpoint Videos (FVVs) のストリーミング再構成は、テレプレゼンスやデジタルツインビジュアライゼーションなどの没入型IoT(Internet of Things)サービスをサポートする。
既存のメソッドは、高いフレーム毎の最適化時間と大きなストレージフットプリントに悩まされており、リソース制約のあるEdge-IoTデバイスへのデプロイメントが制限されている。
本研究では, ガウス残差を選択的に更新するために, 構造対応時間空間を利用したFVV再構成フレームワークである構造化スパースガウスストリーム(S$2$GS)を提案する。
論文 参考訳(メタデータ) (2026-08-20T05:12:53Z) - GeoCache: Training-Free Acceleration of Multi-View Texture Diffusion via Geometric Delta Transport [11.49513685031293]
マルチビューアクセラレーターでは、ステップをスキップすると時間的冗長性が除去される。
クロスビュー相互作用は、同じ表面の異なる観測を継続的に整列させ、急速に劣化した一貫性をもたらす。
本分析では, 予測表面信号のサブセットを同定する。
論文 参考訳(メタデータ) (2026-08-13T13:57:35Z) - TurboGS: Accelerating 3D Gaussian Splatting via Error-Guided Sparse Pixel Sampling and Optimization [54.179316928687435]
TurboGSは3DGSを高速化するエラー誘導トレーニングフレームワークであり、知覚的に情報のあるピクセルに最適化を集中させることで実現している。
標準ベンチマークの実験では、5090GPUカード1枚で100秒以内にTurboGSが同等または優れたレンダリング品質を提供できることが示されている。
論文 参考訳(メタデータ) (2026-06-14T16:59:48Z) - Rapid Salient Object Detection with Difference Convolutional Neural Networks [49.838283141381716]
本稿では,資源制約のあるデバイスにSODをリアルタイムに展開する上での課題について述べる。
SODにおける従来の知恵と現代のCNNの表現力を組み合わせたネットワーク設計を提案する。
論文 参考訳(メタデータ) (2025-07-01T20:41:05Z) - Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers [24.105473321347894]
本稿では,ビデオ拡散変換器(vDiT)の空間加速度フレームワークであるSparse-vDiTを提案する。
Sparse-vDiT が 2.09$times$, 2.38$times$, 1.67$times$理論 FLOP 還元, 1.76$times$, 1.85$times$, 1.58$times$ をそれぞれ達成していることを示す。
我々の研究は、vDiTsの潜伏構造空間を長期ビデオ合成に体系的に活用できることを実証した。
論文 参考訳(メタデータ) (2025-06-03T16:42:37Z) - VORTA: Efficient Video Diffusion via Routing Sparse Attention [54.84294780326206]
VORTAは2つの新しいコンポーネントを持つアクセラレーションフレームワークである。
VBenchの品質を損なうことなく、エンドツーエンドのスピードアップを$1.76タイムで実現している。
モデルキャッシングやステップ蒸留など、他の様々なアクセラレーション手法とシームレスに統合でき、14.41タイムのスピードアップに到達し、性能劣化を無視できる。
論文 参考訳(メタデータ) (2025-05-24T17:46:47Z) - Speedy MASt3R [68.47052557089631]
MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。
高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。
この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
論文 参考訳(メタデータ) (2025-03-13T03:56:22Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳(メタデータ) (2025-02-05T20:43:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。