論文の概要: S$^2$GS: Structured Sparse Gaussian Streaming for Efficient Free-Viewpoint Video Reconstruction on Edge-IoT Devices
- arxiv url: http://arxiv.org/abs/2608.19639v1
- Date: Thu, 20 Aug 2026 05:12:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.453057
- Title: S$^2$GS: Structured Sparse Gaussian Streaming for Efficient Free-Viewpoint Video Reconstruction on Edge-IoT Devices
- Title(参考訳): S$2$GS:エッジIoTデバイス上での効率的な自由視点ビデオ再構成のための構造化スパースガウスストリーミング
- Abstract要約: Free-Viewpoint Videos (FVVs) のストリーミング再構成は、テレプレゼンスやデジタルツインビジュアライゼーションなどの没入型IoT(Internet of Things)サービスをサポートする。
既存のメソッドは、高いフレーム毎の最適化時間と大きなストレージフットプリントに悩まされており、リソース制約のあるEdge-IoTデバイスへのデプロイメントが制限されている。
本研究では, ガウス残差を選択的に更新するために, 構造対応時間空間を利用したFVV再構成フレームワークである構造化スパースガウスストリーム(S$2$GS)を提案する。
- 参考スコア(独自算出の注目度): 20.382017119921194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Streaming reconstruction of Free-Viewpoint Videos (FVVs) supports immersive Internet of Things (IoT) services, such as telepresence and digital twin visualization. Existing methods suffer from high per-frame optimization time and large storage footprints, limiting deployment on resource-constrained Edge-IoT devices. To address these challenges, we propose Structured Sparse Gaussian Streaming (S$^2$GS), an FVV reconstruction framework that exploits structure-aware temporal sparsity to selectively update Gaussian residuals, enabling efficient streaming without compromising visual fidelity. In the spatial domain, a streaming octree hierarchically organizes Gaussian residuals, capturing spatial correlations that guide residual updates. In the temporal domain, a structured gating mechanism, comprising hierarchical feature propagation (HFP) and Gumbel-Sigmoid sampling, converts hierarchical dynamic cues into sparse residual update decisions under differentiable optimization. A multi-level discrete scheme is further adopted to provide fine-grained control over residual updates while preserving intricate dynamic details. Extensive experiments across consumer GPUs, industrial edge IoT devices, and a physical telepresence testbed demonstrate that S$^2$GS consistently reduces per-frame optimization time and storage footprint while maintaining competitive visual quality. Compared with QUEEN, S$^2$GS reduces per-frame optimization time by 59% and storage costs by 85% on an RTX 4090 GPU. On the Jetson AGX Orin, S$^2$GS delivers the highest rendering throughput (60+ FPS) and the lowest energy consumption among the evaluated methods, demonstrating its potential for deployment in resource-constrained systems.
- Abstract(参考訳): Free-Viewpoint Videos (FVVs) のストリーミング再構成は、テレプレゼンスやデジタルツインビジュアライゼーションなどの没入型IoT(Internet of Things)サービスをサポートする。
既存のメソッドは、高いフレーム毎の最適化時間と大きなストレージフットプリントに悩まされており、リソース制約のあるEdge-IoTデバイスへのデプロイメントが制限されている。
これらの課題に対処するために、構造対応時間空間を利用してガウス残差を選択的に更新するFVV再構成フレームワークであるStructured Sparse Gaussian Streaming (S$^2$GS)を提案する。
空間領域では、ストリーミングオクツリーが階層的にガウス残基を整理し、残基更新を導く空間相関をキャプチャする。
時間領域において、階層的特徴伝搬(HFP)とガンベル・シグモイドサンプリング(Gumbel-Sigmoid sample)からなる構造的ゲーティング機構は、階層的動的キューを、微分可能な最適化の下でスパースな更新決定に変換する。
複雑な動的詳細を保存しながら、残余更新のきめ細かい制御を提供するために、マルチレベル離散スキームがさらに採用されている。
コンシューマGPU、産業用エッジIoTデバイス、物理テレプレゼンステストベッドにわたる大規模な実験により、S$^2$GSは、競争力のある視覚的品質を維持しながら、フレームごとの最適化時間とストレージフットプリントを一貫して削減することを示した。
QUEENと比較すると、S$^2$GSはフレームあたりの最適化時間を59%削減し、RTX 4090 GPUではストレージコストを85%削減する。
Jetson AGX Orinでは、S$^2$GSが最も高いレンダリングスループット(60以上のFPS)と評価手法の低消費電力を実現し、リソース制約システムへの展開の可能性を示している。
関連論文リスト
- FAST: A Holistic Framework for Optimizing Memory-I/O, Computation, and Sampling in Temporal GNN Training [13.505374557741169]
時間グラフニューラルネットワーク(TGNN)は、リコメンデーション、ソーシャルネットワーク分析、トラフィック予測といったアプリケーションにおける動的グラフから学習するために広く利用されている。
我々は、サンプリング、メモリI/O、計算を共同最適化することで、エンドツーエンドのTGNNトレーニングを加速する総合的なフレームワークであるFASTを提案する。
FASTは、モデル精度を犠牲にすることなく、最先端システムの平均2.1倍(最大4.7倍)のスピードアップを達成する。
論文 参考訳(メタデータ) (2026-07-06T13:54:01Z) - EcoVideo: Entropy-Orchestrated Video Generation Paradigm in Cloud-Edge Dynamics [15.798324066707105]
動的フレーム間デカップリングのためのエントロピーオーケストレーションフレームワークであるEcoVideoを提案する。
低帯域幅, 計算限界エッジ設定では, 品質効率のトレードオフが改善し, エンドツーエンドの高速化が2.9倍に向上した。
論文 参考訳(メタデータ) (2026-06-29T16:51:56Z) - LoD-Structured 3D Gaussian Splatting for Streaming Video Reconstruction [19.37120630668256]
Free-Viewpoint Video (FVV) は、フォトリアリスティックでインタラクティブな3Dシーンの可視化を可能にする。
最近の3Dガウススティング(3DGS)は、レンダリング速度が優れているため、FVVが進歩している。
本稿では, SFV 専用に設計された LoD-based Gaussian Splatting フレームワーク StreamLoD-GS を提案する。
論文 参考訳(メタデータ) (2026-01-26T13:27:46Z) - StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。
ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。
ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。 タイム・ツー・ファーストフレームは最小限でなければなりません。
論文 参考訳(メタデータ) (2025-11-10T18:51:28Z) - 4DGCPro: Efficient Hierarchical 4D Gaussian Compression for Progressive Volumetric Video Streaming [52.76837132019501]
本稿では,新しい階層型4D圧縮フレームワークである4DGCProを紹介する。
4DGCProは、プログレッシブボリュームビデオストリーミングによるリアルタイムモバイルデコーディングと高品質なレンダリングを容易にする。
エンドツーエンドのエントロピー最適化トレーニングスキームを提案する。
論文 参考訳(メタデータ) (2025-09-22T08:38:17Z) - Flexiffusion: Training-Free Segment-Wise Neural Architecture Search for Efficient Diffusion Models [50.260693393896716]
拡散モデル(DM)は高忠実度画像を生成できる強力な生成モデルであるが、高い計算コストで制約される。
我々は、事前訓練されたパラメータを変更することなく、生成スケジュールとモデルアーキテクチャを協調的に最適化する、トレーニング不要なNASフレームワークFlexiffusionを提案する。
我々の研究は、品質を犠牲にすることなく高速DMを検索するための資源効率の良いパラダイムを開拓した。
論文 参考訳(メタデータ) (2025-06-03T06:02:50Z) - QuantCache: Adaptive Importance-Guided Quantization with Hierarchical Latent and Layer Caching for Video Generation [84.91431271257437]
Diffusion Transformers (DiTs) はビデオ生成において支配的なアーキテクチャとして登場した。
DiTには、計算コストやメモリコストの増大など、大きな欠点がある。
我々は,新しいトレーニングフリー推論アクセラレーションフレームワークQuantCacheを提案する。
論文 参考訳(メタデータ) (2025-03-09T10:31:51Z) - STAC: Leveraging Spatio-Temporal Data Associations For Efficient Cross-Camera Streaming and Analytics [5.752749052742801]
分散カメラネットワークでは、高帯域要求と冗長な視覚データにより、リアルタイムマルチカメラビデオ分析が課題となっている。
制約されたネットワーク条件下での効率的な物体追跡のために,マルチ時間アソシエーションを利用したクロスカメラ監視システムSTACを提案する。
論文 参考訳(メタデータ) (2024-01-27T04:02:52Z) - Turbo: Opportunistic Enhancement for Edge Video Analytics [15.528497833853146]
本稿では,非決定論的および断片的アイドルGPU資源を用いたオポチュニティデータ拡張問題について検討する。
本稿では,タスク固有の識別・拡張モジュールと,モデル対応の対人訓練機構を提案する。
我々のシステムは、遅延コストを発生させることなく、オブジェクト検出の精度を7.3~11.3%向上させる。
論文 参考訳(メタデータ) (2022-06-29T12:13:30Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳(メタデータ) (2021-06-02T07:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。