Fugu-MT 論文翻訳(概要): Efficient 4D Gaussian Stream with Low Rank Adaptation

論文の概要: Efficient 4D Gaussian Stream with Low Rank Adaptation

arxiv url: http://arxiv.org/abs/2502.16575v1
Date: Sun, 23 Feb 2025 13:48:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-25 15:54:15.989048
Title: Efficient 4D Gaussian Stream with Low Rank Adaptation
Title（参考訳）: 低ランク適応による高効率4次元ガウス流
Authors: Zhenhuan Liu, Shuai Liu, Yidong Lu, Yirui Chen, Jie Yang, Wei Liu,
Abstract要約: 連続学習を用いた動的新規ビュー合成のための高度にスケーラブルな手法を提案する。本手法は,ビデオフレームのチャンクで連続的に動的に再構成し,オフラインSOTA法に匹敵する高画質を維持しながら,ストリーミング帯域幅を90%削減する。
参考スコア（独自算出の注目度）: 8.69899446610606
License:
Abstract: Recent methods have made significant progress in synthesizing novel views with long video sequences. This paper proposes a highly scalable method for dynamic novel view synthesis with continual learning. We leverage the 3D Gaussians to represent the scene and a low-rank adaptation-based deformation model to capture the dynamic scene changes. Our method continuously reconstructs the dynamics with chunks of video frames, reduces the streaming bandwidth by $90\%$ while maintaining high rendering quality comparable to the off-line SOTA methods.
Abstract（参考訳）: 最近の手法は、長いビデオシーケンスによる新しいビューの合成に大きな進歩をもたらした。本稿では,連続学習を用いた動的新規ビュー合成のための高度にスケーラブルな手法を提案する。我々は3Dガウスアンをシーンの表現に利用し、低ランク適応に基づく変形モデルを用いて動的シーンの変化を捉える。本手法は,ビデオフレームのチャンクで連続的に動的に再構成し,オフラインSOTA法に匹敵する高画質を維持しながら,ストリーミング帯域幅を90 %以上削減する。

関連論文リスト

SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video [26.468480933928458]
高品質な再構成とモノクロビデオからの高速レンダリングを実現するために,COLMAPフリーな動的3DガウススティングフレームワークであるSplineGSを提案する。中心となるのは、連続的な動的3次元ガウス軌道を表す新しい動き適応スプライン(MAS)法である。カメラパラメータ推定と3次元ガウス属性の同時最適化手法を提案する。
論文参考訳（メタデータ） (2024-12-13T09:09:14Z)
Dynamics-Aware Gaussian Splatting Streaming Towards Fast On-the-Fly Training for 4D Reconstruction [12.111389926333592]
現在の3DGSベースのストリーミング手法は、ガウス原始体を均一に扱い、密度化されたガウスを常に更新する。そこで本研究では, 反復的流動性4次元動的空間再構成のための新しい3段階パイプラインを提案する。提案手法は,オンライン4次元再構成における最先端性能を実現し,実時間トレーニング速度の20%向上,表現品質の向上,リアルタイムレンダリング能力の向上を実証する。
論文参考訳（メタデータ） (2024-11-22T10:47:47Z)
Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
論文参考訳（メタデータ） (2024-11-10T21:30:16Z)
MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
論文参考訳（メタデータ） (2024-10-10T07:07:56Z)
ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文参考訳（メタデータ） (2024-09-03T16:53:19Z)
D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文参考訳（メタデータ） (2024-06-14T14:35:44Z)
SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。我々の手法は、品質と効率の両面で既存の手法を超越している。動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文参考訳（メタデータ） (2024-04-04T18:05:18Z)
Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文参考訳（メタデータ） (2024-03-18T03:46:26Z)
SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文参考訳（メタデータ） (2023-12-20T03:54:03Z)
DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文参考訳（メタデータ） (2022-11-20T20:57:02Z)
Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
動的シーンを扱うための高速な変形可能な放射場法を提案する。本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
論文参考訳（メタデータ） (2022-06-15T17:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。