論文の概要: Struct-GStream: Towards Efficient Free-Viewpoint Video Streaming at Low-Bitrates with Structured 3D Gaussians
- arxiv url: http://arxiv.org/abs/2608.01053v1
- Date: Sun, 02 Aug 2026 07:41:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.073362
- Title: Struct-GStream: Towards Efficient Free-Viewpoint Video Streaming at Low-Bitrates with Structured 3D Gaussians
- Title（参考訳）: 構造GStream:3次元ガウスを持つ低ビットレートでの高能率自由視点映像ストリーミングを目指して
- Abstract要約: ニューラルレンダリングに基づく手法は、FVV(Free-Viewpoint Videos)構築において高忠実度画像品質を実現する。
構造化3次元ガウス(3DG)を用いた高速FVVストリーミングを実現するStruct-GStreamを提案する。
本手法は,高いレンダリング品質を維持しつつ,低速度で高速なトレーニングを実現する。
- 参考スコア（独自算出の注目度）: 18.881783895949386
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constructing photorealistic Free-Viewpoint Videos (FVVs) of dynamic scenes from a set of posed 2D images has been an intriguing yet challenging task in computer vision. Methods based on neural rendering achieve high-fidelity image quality in FVV construction. However, most of these methods are unable to achieve real-time rendering and often require complete video sequences to train. Despite the existence of some online training methods capable of rendering FVVs in real time, they struggle to meet the requirements for storage and training time for downstream applications. To overcome this problem, we propose Struct-GStream, which can achieve efficient FVV streaming using structured 3D Gaussians (3DGs). Specifically, we introduce dynamic anchor points to generate structured 3DGs to construct basic scenes and model approximate scene movements based on the assumption of local rigidity in object motion. Besides, we introduce a global free 3DGs patching strategy involving free 3DGs' generation, pruning, and optimization to patch and model deficient areas and emerging objects. Our method achieves fast training at low bitrates while maintaining high rendering quality. Extensive experiments demonstrate that Struct-GStream significantly outperforms existing online training methods for FVV construction in terms of training time, storage, and rendering quality while maintaining competitive rendering speed.
- Abstract（参考訳）: 2D画像の集合から動的シーンのフォトリアリスティックな自由視点ビデオ(FVV)を構築することは、コンピュータビジョンにおいて興味深いが難しい課題である。
ニューラルレンダリングに基づく手法は、FVV構築において高忠実度画像品質を実現する。
しかし、これらの手法のほとんどはリアルタイムレンダリングを実現することができず、訓練には完全なビデオシーケンスを必要とすることが多い。
リアルタイムにFVVをレンダリングできるオンライントレーニング方法が存在するにも関わらず、下流アプリケーションのストレージとトレーニング時間の要件を満たすのに苦労している。
この問題を解決するために,構造化3次元ガウス(3DG)を用いた高速FVVストリーミングを実現するStruct-GStreamを提案する。
具体的には、動的アンカーポイントを導入して、基本シーンを構築するための構造化された3DGを生成し、物体の動きの局所剛性の仮定に基づいて、近似的なシーンの動きをモデル化する。
さらに, 自由な3DGの生成, 刈り取り, 未完成領域や新興オブジェクトのパッチとモデル化のための最適化を含む, グローバルな3DGのパッチ戦略を導入する。
本手法は,低ビットレートでの高速なトレーニングを実現するとともに,高いレンダリング品質を維持する。
大規模な実験により、Struct-GStreamは、競争力のあるレンダリング速度を維持しながら、トレーニング時間、ストレージ、レンダリング品質の観点から、既存のFVV構築のオンライントレーニング手法を著しく上回っていることが示された。
関連論文リスト
- RealVDeblur: One-Step Diffusion for Generalizable Real-World Video Deblurring [38.962439175751975]
実世界のビデオの劣化は、多様な動きパターン、複雑な劣化、および現実的なトレーニングデータの不足により、依然として困難なままである。
textbfRealVDeblurは、様々な実捕獲条件下での地中ロバスト性を改善するために設計された効率的な生成フレームワークである。
論文 参考訳（メタデータ） (2026-07-22T18:01:03Z) - LoD-Structured 3D Gaussian Splatting for Streaming Video Reconstruction [19.37120630668256]
Free-Viewpoint Video (FVV) は、フォトリアリスティックでインタラクティブな3Dシーンの可視化を可能にする。
最近の3Dガウススティング(3DGS)は、レンダリング速度が優れているため、FVVが進歩している。
本稿では, SFV 専用に設計された LoD-based Gaussian Splatting フレームワーク StreamLoD-GS を提案する。
論文 参考訳（メタデータ） (2026-01-26T13:27:46Z) - StreamSTGS: Streaming Spatial and Temporal Gaussian Grids for Real-Time Free-Viewpoint Video [16.890908589888678]
リアルタイムで自由視点ビデオ(FVV)をストリーミングすることは大きな課題に直面している。
最近の3DGSベースのFVV法は、トレーニングとレンダリングの両方において顕著なブレークスルーを達成した。
本稿では,リアルタイムストリーミング用に設計された新しいFVV表現StreamSTGSを提案する。
論文 参考訳（メタデータ） (2025-11-08T15:35:43Z) - STream3R: Scalable Sequential 3D Reconstruction with Causal Transformer [72.88105562624838]
本稿では,ポイントマップ予測をデコーダのみの変換器問題として再構成する新しい3次元再構成手法STream3Rを提案する。
大規模な3Dデータセットから幾何学的先行性を学ぶことで、STream3Rは多様で困難なシナリオにうまく一般化する。
この結果から,オンライン3次元知覚のための因果変換モデルの可能性を浮き彫りにし,ストリーミング環境におけるリアルタイム3次元理解の道を開いた。
論文 参考訳（メタデータ） (2025-08-14T17:58:05Z) - DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。
動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。
最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
論文 参考訳（メタデータ） (2025-06-11T17:59:58Z) - StreamSplat: Towards Online Dynamic 3D Reconstruction from Uncalibrated Video Streams [14.211339652447462]
映像ストリームから動的3Dシーンをリアルタイムに再現することは、多くの実世界のアプリケーションにとって不可欠である。
任意の長さの動画ストリームを動的3D表現にオンラインで変換する,最初の完全なフィードフォワードフレームワークであるStreamSplatを紹介した。
論文 参考訳（メタデータ） (2025-06-10T14:52:36Z) - Easi3R: Estimating Disentangled Motion from DUSt3R Without Training [69.51086319339662]
Easi3Rは,4次元再構成のための簡易かつ効率的なトレーニングフリー手法である。
提案手法は,事前学習やネットワークファインチューニングの必要性を排除し,推論中の注意適応を適用した。
実世界のダイナミックビデオの実験では、従来の最先端手法よりも軽量な注意適応が著しく優れていたことが示されている。
論文 参考訳（メタデータ） (2025-03-31T17:59:58Z) - VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [54.66217340264935]
VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。
再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
論文 参考訳（メタデータ） (2025-01-03T18:52:36Z) - V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。
私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。
モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
論文 参考訳（メタデータ） (2024-09-20T16:54:27Z) - 3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos [10.323643152957114]
3DGStreamは実世界のダイナミックシーンの効率的なFVVストリーミングのために設計された手法である。
提案手法は,12秒以内のフレーム毎の高速な再構築と,200FPSでのリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2024-03-03T08:42:40Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳（メタデータ） (2023-10-12T17:59:57Z) - A Real-time Action Representation with Temporal Encoding and Deep
Compression [115.3739774920845]
動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。
T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。
提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
論文 参考訳（メタデータ） (2020-06-17T06:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。