論文の概要: Bridging 3D Gaussian and Mesh for Freeview Video Rendering

• arxiv url: http://arxiv.org/abs/2403.11453v1
• Date: Mon, 18 Mar 2024 04:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:47:44.190337
• Title: Bridging 3D Gaussian and Mesh for Freeview Video Rendering
• Title（参考訳）: フリービュービデオレンダリングのための3Dガウスとメッシュのブリッジ
• Authors: Yuting Xiao, Xuan Wang, Jiafei Li, Hongrui Cai, Yanbo Fan, Nan Xue, Minghui Yang, Yujun Shen, Shenghua Gao,
• Abstract要約: GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
• 参考スコア（独自算出の注目度）: 57.21847030980905
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This is only a preview version of GauMesh. Recently, primitive-based rendering has been proven to achieve convincing results in solving the problem of modeling and rendering the 3D dynamic scene from 2D images. Despite this, in the context of novel view synthesis, each type of primitive has its inherent defects in terms of representation ability. It is difficult to exploit the mesh to depict the fuzzy geometry. Meanwhile, the point-based splatting (e.g. the 3D Gaussian Splatting) method usually produces artifacts or blurry pixels in the area with smooth geometry and sharp textures. As a result, it is difficult, even not impossible, to represent the complex and dynamic scene with a single type of primitive. To this end, we propose a novel approach, GauMesh, to bridge the 3D Gaussian and Mesh for modeling and rendering the dynamic scenes. Given a sequence of tracked mesh as initialization, our goal is to simultaneously optimize the mesh geometry, color texture, opacity maps, a set of 3D Gaussians, and the deformation field. At a specific time, we perform $\alpha$-blending on the RGB and opacity values based on the merged and re-ordered z-buffers from mesh and 3D Gaussian rasterizations. This produces the final rendering, which is supervised by the ground-truth image. Experiments demonstrate that our approach adapts the appropriate type of primitives to represent the different parts of the dynamic scene and outperforms all the baseline methods in both quantitative and qualitative comparisons without losing render speed.
• Abstract（参考訳）: これはGauMeshのプレビュー版にすぎない。 近年、プリミティブベースのレンダリングは、2次元画像から3次元ダイナミックシーンをモデリング・レンダリングする問題を解く上で、説得力のある結果が得られることが証明されている。 それにもかかわらず、新しいビュー合成の文脈では、それぞれのプリミティブは表現能力の点で固有の欠陥を持っている。 メッシュを利用してファジィ幾何学を描くことは困難である。 一方、点ベースのスプラッティング法(例:3Dガウス・スプラッティング)は、通常、滑らかな幾何学と鋭いテクスチャを持つ領域のアーティファクトやぼやけたピクセルを生成する。 結果として、単一のタイプのプリミティブで複雑でダイナミックなシーンを表現することは不可能ではない。 そこで本研究では,3次元ガウスとメッシュを橋渡し,ダイナミックシーンのモデリングとレンダリングを行う新しいアプローチであるGauMeshを提案する。 初期化として追跡メッシュの列が与えられた場合、我々のゴールはメッシュ幾何学、色テクスチャ、不透明度マップ、3Dガウスの集合、変形場を同時に最適化することである。 メッシュおよび3次元ガウスラスタライゼーションから, RGB の $\alpha$-blending と, メッシュおよび3次元ガウスラスタライゼーションの合併および再注文された z-バッファに基づく不透明度値を実行する。 これにより最終レンダリングが生成され、地平線画像によって監督される。 実験により,本手法は動的シーンの異なる部分を表現するために適切な種類のプリミティブに適応し,レンダリング速度を損なうことなく,定量的および定性的な比較においてすべてのベースライン手法より優れていることが示された。

関連論文リスト

• 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
  ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。 我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-14T18:40:33Z)
• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
  Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。 2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。 視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
  論文  参考訳（メタデータ） (2024-08-23T15:25:08Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting [26.849406891462557]
  トライアングルメッシュ上に埋め込まれたガウススプラッティングと人間のアバターのハイブリッド3次元表現であるSplattingAvatarについて述べる。 SplattingAvatarは、最新のGPUで300FPS以上、モバイルデバイスで30FPS以上をレンダリングする。
  論文  参考訳（メタデータ） (2024-03-08T06:28:09Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。