論文の概要: VeGaS: Video Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2411.11024v1
• Date: Sun, 17 Nov 2024 10:02:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:15.243770
• Title: VeGaS: Video Gaussian Splatting
• Title（参考訳）: VeGaS: ガウスのスプラッティング動画
• Authors: Weronika Smolak-Dyżewska, Dawid Malarz, Kornel Howil, Jan Kaczmarczyk, Marcin Mazur, Przemysław Spurek,
• Abstract要約: 本稿では,映像データの現実的な修正を可能にするVeGaS(VeGaS)モデルを提案する。 VeGaSはフレーム再構築タスクにおいて最先端のソリューションよりも優れています。
• 参考スコア（独自算出の注目度）: 0.42881773214459123
• License:
• Abstract: Implicit Neural Representations (INRs) employ neural networks to approximate discrete data as continuous functions. In the context of video data, such models can be utilized to transform the coordinates of pixel locations along with frame occurrence times (or indices) into RGB color values. Although INRs facilitate effective compression, they are unsuitable for editing purposes. One potential solution is to use a 3D Gaussian Splatting (3DGS) based model, such as the Video Gaussian Representation (VGR), which is capable of encoding video as a multitude of 3D Gaussians and is applicable for numerous video processing operations, including editing. Nevertheless, in this case, the capacity for modification is constrained to a limited set of basic transformations. To address this issue, we introduce the Video Gaussian Splatting (VeGaS) model, which enables realistic modifications of video data. To construct VeGaS, we propose a novel family of Folded-Gaussian distributions designed to capture nonlinear dynamics in a video stream and model consecutive frames by 2D Gaussians obtained as respective conditional distributions. Our experiments demonstrate that VeGaS outperforms state-of-the-art solutions in frame reconstruction tasks and allows realistic modifications of video data. The code is available at: https://github.com/gmum/VeGaS.
• Abstract（参考訳）: Inlicit Neural Representation (INR)は、離散データを連続関数として近似するためにニューラルネットワークを使用する。 ビデオデータのコンテキストでは、そのようなモデルを使用して、フレーム発生時間(またはインデックス)とともに画素位置の座標をRGB色値に変換することができる。 INRは効率的な圧縮を促進するが、編集には適さない。 潜在的な解決策の1つは、VGR(Video Gaussian Representation)のような3Dガウススティング(3DGS)ベースのモデルを使用することである。 しかしながら、この場合、修正の能力は基本的な変換の限られたセットに制限される。 この問題に対処するために,ビデオデータの現実的な修正を可能にするVeGaS(VeGaS)モデルを提案する。 本稿では,VeGaSを構築するために,各条件分布として得られた2次元ガウス分布を用いて,ビデオストリームと連続フレームの非線形ダイナミクスを捉えるために設計されたFolded-Gauss分布の新たなファミリーを提案する。 実験により,VeGaSはフレーム再構成作業における最先端のソリューションよりも優れており,映像データの現実的な修正が可能であることを実証した。 コードは、https://github.com/gmum/VeGaS.comで入手できる。

関連論文リスト

• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes [49.36091070642661]
  本稿では,4DGSのためのメモリ効率フレームワークを提案する。 TechnicolorとNeural 3D Videoのデータセットで約190$times$と125$times$のストレージ削減を実現している。 レンダリング速度とシーン表現の品質を維持し、フィールドに新しい標準を設定する。
  論文  参考訳（メタデータ） (2024-10-17T14:47:08Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Splatter a Video: Video Gaussian Representation for Versatile Processing [48.9887736125712]
  ビデオ表現は、トラッキング、深度予測、セグメンテーション、ビュー合成、編集など、さまざまなダウンストリームタスクに不可欠である。 我々は,映像を3Dガウスに埋め込む,新しい3D表現-ビデオガウス表現を導入する。 トラッキング、一貫したビデオ深度と特徴の洗練、動きと外観の編集、立体映像生成など、多数のビデオ処理タスクで有効であることが証明されている。
  論文  参考訳（メタデータ） (2024-06-19T22:20:03Z)
• Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting [9.90835990611019]
  3D Gaussian Splatting (3DGS)は、高速で高品質な新規ビュー合成を提供する。 標準的な3DGSを動的シーンを表現するために複数のフレームに変形させる自然な拡張である。 以前の作品は複雑な動的シーンを正確に再構築することができなかった。
  論文  参考訳（メタデータ） (2024-04-04T17:34:41Z)
• GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
  メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。 また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
  論文  参考訳（メタデータ） (2024-02-02T14:50:23Z)
• Gaussian Grouping: Segment and Edit Anything in 3D Scenes [65.49196142146292]
  ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 暗黙のNeRF表現と比較すると,グループ化された3次元ガウシアンは,高画質,微粒度,高効率で,あらゆるものを3次元で再構成,分割,編集することができる。
  論文  参考訳（メタデータ） (2023-12-01T17:09:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。