論文の概要: SplatVoxel: History-Aware Novel View Streaming without Temporal Training

• arxiv url: http://arxiv.org/abs/2503.14698v1
• Date: Tue, 18 Mar 2025 20:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:23:57.363699
• Title: SplatVoxel: History-Aware Novel View Streaming without Temporal Training
• Title（参考訳）: SplatVoxel: タイムトレーニングなしの新しいビューストリーミング
• Authors: Yiming Wang, Lucy Chai, Xuan Luo, Michael Niemeyer, Manuel Lagunas, Stephen Lombardi, Siyu Tang, Tiancheng Sun,
• Abstract要約: スパースビュー映像からの新たなビューストリーミングの問題について検討する。 既存のビュー合成手法は、時間的コヒーレンスと視覚的忠実さに苦慮している。 本稿では,ハイブリッド型スプラ・ボクセルフィードフォワードシーン再構築手法を提案する。
• 参考スコア（独自算出の注目度）: 29.759664150610362
• License:
• Abstract: We study the problem of novel view streaming from sparse-view videos, which aims to generate a continuous sequence of high-quality, temporally consistent novel views as new input frames arrive. However, existing novel view synthesis methods struggle with temporal coherence and visual fidelity, leading to flickering and inconsistency. To address these challenges, we introduce history-awareness, leveraging previous frames to reconstruct the scene and improve quality and stability. We propose a hybrid splat-voxel feed-forward scene reconstruction approach that combines Gaussian Splatting to propagate information over time, with a hierarchical voxel grid for temporal fusion. Gaussian primitives are efficiently warped over time using a motion graph that extends 2D tracking models to 3D motion, while a sparse voxel transformer integrates new temporal observations in an error-aware manner. Crucially, our method does not require training on multi-view video datasets, which are currently limited in size and diversity, and can be directly applied to sparse-view video streams in a history-aware manner at inference time. Our approach achieves state-of-the-art performance in both static and streaming scene reconstruction, effectively reducing temporal artifacts and visual artifacts while running at interactive rates (15 fps with 350ms delay) on a single H100 GPU. Project Page: https://19reborn.github.io/SplatVoxel/
• Abstract（参考訳）: 我々は,新しい入力フレームが到着するにつれて,高品質で時間的に一貫した新しいビューを連続的に生成することを目的とした,スパースビュービデオからの新規ビューストリーミングの問題について検討する。 しかし、既存の新しいビュー合成手法は、時間的コヒーレンスと視覚的忠実さに苦慮し、ひねりと矛盾をもたらす。 これらの課題に対処するために、過去のフレームを活用してシーンを再構築し、品質と安定性を向上する履歴認識を導入する。 本稿では,時相融合のための階層型ボクセルグリッドとガウススプラッティングを併用して情報伝達を行うハイブリッドスプラ・ボクセルフィードフォワードシーン再構築手法を提案する。 ガウス原始体は2次元追跡モデルから3次元運動へ拡張するモーショングラフを用いて時間とともに効率的にワープされる。 重要な点として,本手法では,現在サイズや多様性が制限されているマルチビュービデオデータセットのトレーニングを必要とせず,推測時に履歴を意識してスパースビュービデオストリームに直接適用することができる。 提案手法は,H100 GPU上での対話速度(15fps,350ms遅延)で動作中の時間的アーティファクトと視覚的アーティファクトを効果的に低減する。 Project Page: https://19reborn.github.io/SplatVoxel/

関連論文リスト

• GaussianVideo: Efficient Video Representation via Hierarchical Gaussian Splatting [28.981174430968643]
  本稿では,3次元ガウススプラッティングと連続カメラモーションモデリングを組み合わせたニューラル表現を提案する。 実験結果から,我々の階層的学習と堅牢なカメラモーションモデリングが組み合わさって,時間的一貫性の強い複雑な動的シーンを捉えていることがわかった。 このメモリ効率のアプローチは、印象的な速度で高品質なレンダリングを実現する。
  論文  参考訳（メタデータ） (2025-01-08T19:01:12Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Explorative Inbetweening of Time and Space [46.77750028273578]
  与えられた開始フレームと終了フレームのみに基づいて映像生成を制御するために境界生成を導入する。 Time Reversal Fusionは、開始フレームと終了フレームに条件付けられた時間的に前方および後方にデノナイジングパスを融合する。 Time Reversal Fusionは、すべてのサブタスクにおける関連する作業よりも優れています。
  論文  参考訳（メタデータ） (2024-03-21T17:57:31Z)
• Fast View Synthesis of Casual Videos with Soup-of-Planes [24.35962788109883]
  シーンのダイナミックスやパララックスの欠如といった課題のため、Wild ビデオからの新たなビュー合成は困難である。 本稿では,モノクロ映像から高品質な新規ビューを効率よく合成するために,明示的な映像表現を再考する。 本手法は,高品質で最先端の手法に匹敵する品質の動画から高品質な新奇なビューをレンダリングすると同時に,トレーニングの100倍高速でリアルタイムレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-04T18:55:48Z)
• You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos [56.676761067861236]
  ビデオがトリミングされていない場合、時間的文のグラウンド化は、文問合せに従って目的のモーメントを意味的に見つけることを目的としている。 それまでの優れた作品は、かなり成功したが、それらはデコードされたフレームから抽出されたハイレベルな視覚的特徴にのみ焦点を当てている。 本稿では,圧縮された映像を直接視覚入力として利用する,圧縮された領域のTSGを提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:53:27Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Progressive Temporal Feature Alignment Network for Video Inpainting [51.26380898255555]
  ビデオ畳み込みは、時間内「破損した地域」に可能な内容で埋めることを目指しています。 現在の方法は、注意、フローベースのワープ、あるいは3次元時間的畳み込みによってこの目標を達成する。 現在のフレームから抽出された特徴を、隣接するフレームから歪んだ特徴で段階的に強化する「プログレッシブ・テンポラリティ・アライメント・ネットワーク」を提案します。
  論文  参考訳（メタデータ） (2021-04-08T04:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。