論文の概要: Instant Gaussian Stream: Fast and Generalizable Streaming of Dynamic Scene Reconstruction via Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2503.16979v1
• Date: Fri, 21 Mar 2025 09:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:45.114958
• Title: Instant Gaussian Stream: Fast and Generalizable Streaming of Dynamic Scene Reconstruction via Gaussian Splatting
• Title（参考訳）: インスタントガウス流:ガウススティングによる動的シーン再構成の高速で一般化可能なストリーム
• Authors: Jinbo Yan, Rui Peng, Zhiyan Wang, Luyang Tang, Jiayu Yang, Jie Liang, Jiahao Wu, Ronggang Wang,
• Abstract要約: ストリーミング方式でフリー視点ビデオを構築することは、オフラインのトレーニング方法と比較して、迅速な応答性の利点を提供する。 現在のストリーミングアプローチでは、フレーム単位の再構築時間(10s+)の高さとエラーの蓄積という課題に直面し、より広範なアプリケーションを制限する。 我々はこれらの問題に対処するために,高速で一般化可能なストリーミングフレームワークであるInstant Gaussian Stream (IGS)を提案する。
• 参考スコア（独自算出の注目度）: 25.981421363512883
• License:
• Abstract: Building Free-Viewpoint Videos in a streaming manner offers the advantage of rapid responsiveness compared to offline training methods, greatly enhancing user experience. However, current streaming approaches face challenges of high per-frame reconstruction time (10s+) and error accumulation, limiting their broader application. In this paper, we propose Instant Gaussian Stream (IGS), a fast and generalizable streaming framework, to address these issues. First, we introduce a generalized Anchor-driven Gaussian Motion Network, which projects multi-view 2D motion features into 3D space, using anchor points to drive the motion of all Gaussians. This generalized Network generates the motion of Gaussians for each target frame in the time required for a single inference. Second, we propose a Key-frame-guided Streaming Strategy that refines each key frame, enabling accurate reconstruction of temporally complex scenes while mitigating error accumulation. We conducted extensive in-domain and cross-domain evaluations, demonstrating that our approach can achieve streaming with a average per-frame reconstruction time of 2s+, alongside a enhancement in view synthesis quality.
• Abstract（参考訳）: ストリーミング方式でフリー視点ビデオを構築することで、オフラインのトレーニング方法に比べて迅速な応答性が向上し、ユーザエクスペリエンスが大幅に向上する。 しかしながら、現在のストリーミングアプローチでは、フレーム単位の再構築時間(10s+)の高さとエラーの蓄積という課題に直面し、より広範なアプリケーションを制限する。 本稿では,高速で一般化可能なストリーミングフレームワークであるInstant Gaussian Stream (IGS)を提案する。 まず,アンカー駆動型ガウス運動ネットワークを導入し,多視点2次元運動特徴を3次元空間に投影し,アンカーポイントを用いて全てのガウス運動を駆動する。 この一般化されたネットワークは、単一の推論に必要な時間において、各ターゲットフレームに対するガウス運動を生成する。 第2に,各キーフレームを改良し,エラーの蓄積を軽減しつつ,時間的に複雑なシーンの正確な再構築を可能にするキーフレーム誘導ストリーミング戦略を提案する。 提案手法は,2s+のフレームあたりの平均再生時間でストリーミングを実現できることを示すとともに,ビュー合成品質の向上を図りながら,ドメイン内およびクロスドメイン評価を行った。

関連論文リスト

• HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting [7.507657419706855]
  本稿では,HiCoMと呼ばれる3つの重要なコンポーネントを持つ効率的なフレームワークを提案する。 まず、摂動平滑化戦略を用いて、コンパクトで頑健な初期3DGS表現を構築する。 次に、3次元ガウスの固有非一様分布と局所的一貫性を利用する階層的コヒーレント運動機構を導入する。 2つの広く利用されているデータセットを用いて行った実験により、我々のフレームワークは最先端の手法の学習効率を約20%向上することが示された。
  論文  参考訳（メタデータ） (2024-11-12T04:40:27Z)
• V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
  V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。 私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。 モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
  論文  参考訳（メタデータ） (2024-09-20T16:54:27Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• SODFormer: Streaming Object Detection with Transformer Using Events and Frames [31.293847706713052]
  DAカメラは、非同期イベントとフレームの相補的な2つのモードをストリーミングする。 本稿では,SODFormerを用いた新しいストリーミングオブジェクト検出手法を提案する。
  論文  参考訳（メタデータ） (2023-08-08T04:53:52Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video [111.08121952640766]
  本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。 RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。 提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-10-06T16:47:12Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video Super-Resolution [95.26202278535543]
  単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。 時間合成と空間超解像はこの課題に関係している。 LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。