論文の概要: Bridging 3D Gaussian and Mesh for Freeview Video Rendering

• arxiv url: http://arxiv.org/abs/2403.11453v1
• Date: Mon, 18 Mar 2024 04:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:47:44.190337
• Title: Bridging 3D Gaussian and Mesh for Freeview Video Rendering
• Title（参考訳）: フリービュービデオレンダリングのための3Dガウスとメッシュのブリッジ
• Authors: Yuting Xiao, Xuan Wang, Jiafei Li, Hongrui Cai, Yanbo Fan, Nan Xue, Minghui Yang, Yujun Shen, Shenghua Gao,
• Abstract要約: GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
• 参考スコア（独自算出の注目度）: 57.21847030980905
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This is only a preview version of GauMesh. Recently, primitive-based rendering has been proven to achieve convincing results in solving the problem of modeling and rendering the 3D dynamic scene from 2D images. Despite this, in the context of novel view synthesis, each type of primitive has its inherent defects in terms of representation ability. It is difficult to exploit the mesh to depict the fuzzy geometry. Meanwhile, the point-based splatting (e.g. the 3D Gaussian Splatting) method usually produces artifacts or blurry pixels in the area with smooth geometry and sharp textures. As a result, it is difficult, even not impossible, to represent the complex and dynamic scene with a single type of primitive. To this end, we propose a novel approach, GauMesh, to bridge the 3D Gaussian and Mesh for modeling and rendering the dynamic scenes. Given a sequence of tracked mesh as initialization, our goal is to simultaneously optimize the mesh geometry, color texture, opacity maps, a set of 3D Gaussians, and the deformation field. At a specific time, we perform $\alpha$-blending on the RGB and opacity values based on the merged and re-ordered z-buffers from mesh and 3D Gaussian rasterizations. This produces the final rendering, which is supervised by the ground-truth image. Experiments demonstrate that our approach adapts the appropriate type of primitives to represent the different parts of the dynamic scene and outperforms all the baseline methods in both quantitative and qualitative comparisons without losing render speed.
• Abstract（参考訳）: これはGauMeshのプレビュー版にすぎない。 近年、プリミティブベースのレンダリングは、2次元画像から3次元ダイナミックシーンをモデリング・レンダリングする問題を解く上で、説得力のある結果が得られることが証明されている。 それにもかかわらず、新しいビュー合成の文脈では、それぞれのプリミティブは表現能力の点で固有の欠陥を持っている。 メッシュを利用してファジィ幾何学を描くことは困難である。 一方、点ベースのスプラッティング法(例:3Dガウス・スプラッティング)は、通常、滑らかな幾何学と鋭いテクスチャを持つ領域のアーティファクトやぼやけたピクセルを生成する。 結果として、単一のタイプのプリミティブで複雑でダイナミックなシーンを表現することは不可能ではない。 そこで本研究では,3次元ガウスとメッシュを橋渡し,ダイナミックシーンのモデリングとレンダリングを行う新しいアプローチであるGauMeshを提案する。 初期化として追跡メッシュの列が与えられた場合、我々のゴールはメッシュ幾何学、色テクスチャ、不透明度マップ、3Dガウスの集合、変形場を同時に最適化することである。 メッシュおよび3次元ガウスラスタライゼーションから, RGB の $\alpha$-blending と, メッシュおよび3次元ガウスラスタライゼーションの合併および再注文された z-バッファに基づく不透明度値を実行する。 これにより最終レンダリングが生成され、地平線画像によって監督される。 実験により,本手法は動的シーンの異なる部分を表現するために適切な種類のプリミティブに適応し,レンダリング速度を損なうことなく,定量的および定性的な比較においてすべてのベースライン手法より優れていることが示された。

関連論文リスト

• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Towards Realistic Example-based Modeling via 3D Gaussian Stitching [31.710954782769377]
  サンプル誘導合成を用いた点ベース表現における複数のガウス場を組み合わせた例に基づくモデリング手法を提案する。 具体的には、構成について、複数のフィールドをリアルタイムでセグメント化し変換するGUIを作成し、意味論的に意味のあるモデルの合成を容易に得る。 テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。
  論文  参考訳（メタデータ） (2024-08-28T11:13:27Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos [27.531394287148384]
  DG-Mesh(Dynamic Gaussians Mesh)は、単一のモノクロビデオから高忠実で時間に一貫性のあるメッシュを再構築するフレームワークである。 我々の研究は、最近の3Dガウススプラッティングの進歩を活用して、ビデオから時間的一貫性のあるメッシュシーケンスを構築する。 メッシュガイドによる密度化と変形したガウスへのプルーニングによるメッシュ再構築を実現するため,均等に分散したガウスアンを奨励するガウス・メシュアンチョリングを導入する。
  論文  参考訳（メタデータ） (2024-04-18T17:58:16Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。