論文の概要: Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh

• arxiv url: http://arxiv.org/abs/2405.17811v1
• Date: Tue, 28 May 2024 04:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 22:22:24.971710
• Title: Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh
• Title（参考訳）: Mani-GS:三角形メッシュを用いたガウス平滑化操作
• Authors: Xiangjun Gao, Xiaoyu Li, Yiyu Zhuang, Qi Zhang, Wenbo Hu, Chaopeng Zhang, Yao Yao, Ying Shan, Long Quan,
• Abstract要約: 本稿では,3DGSを直接自己適応で操作する三角形メッシュを提案する。 提案手法は,高忠実度レンダリングを維持しつつ,大きな変形,局所的な操作,軟体シミュレーションを処理可能である。
• 参考スコア（独自算出の注目度）: 44.57625460339714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural 3D representations such as Neural Radiance Fields (NeRF), excel at producing photo-realistic rendering results but lack the flexibility for manipulation and editing which is crucial for content creation. Previous works have attempted to address this issue by deforming a NeRF in canonical space or manipulating the radiance field based on an explicit mesh. However, manipulating NeRF is not highly controllable and requires a long training and inference time. With the emergence of 3D Gaussian Splatting (3DGS), extremely high-fidelity novel view synthesis can be achieved using an explicit point-based 3D representation with much faster training and rendering speed. However, there is still a lack of effective means to manipulate 3DGS freely while maintaining rendering quality. In this work, we aim to tackle the challenge of achieving manipulable photo-realistic rendering. We propose to utilize a triangular mesh to manipulate 3DGS directly with self-adaptation. This approach reduces the need to design various algorithms for different types of Gaussian manipulation. By utilizing a triangle shape-aware Gaussian binding and adapting method, we can achieve 3DGS manipulation and preserve high-fidelity rendering after manipulation. Our approach is capable of handling large deformations, local manipulations, and soft body simulations while keeping high-quality rendering. Furthermore, we demonstrate that our method is also effective with inaccurate meshes extracted from 3DGS. Experiments conducted demonstrate the effectiveness of our method and its superiority over baseline approaches.
• Abstract（参考訳）: NeRF(Neural Radiance Fields)のようなニューラルな3D表現は、フォトリアリスティックなレンダリング結果を生成するのに優れているが、コンテンツ作成に不可欠な操作や編集の柔軟性に欠ける。 従来の研究は、標準空間でNeRFを変形させたり、明示的なメッシュに基づいて放射場を操作することでこの問題に対処しようと試みてきた。 しかし、NeRFの操作は高度に制御可能ではなく、長いトレーニングと推論時間を必要とする。 3Dガウススプラッティング(3DGS)の出現により、より高速なトレーニングとレンダリング速度を持つ明示的なポイントベース3D表現を用いて、非常に高忠実な新規ビュー合成を実現することができる。 しかし、レンダリング品質を維持しながら3DGSを自由に操作する効果的な手段がまだ存在しない。 本研究では,マニピュラブルな写真リアリスティックレンダリングを実現するための課題に取り組むことを目的とする。 本稿では,三角メッシュを用いて3DGSを直接自己適応で操作する手法を提案する。 このアプローチにより、様々な種類のガウス演算のための様々なアルゴリズムを設計する必要がなくなる。 三角形形状を意識したガウス結合と適応法を用いることで、3DGSの操作を実現し、操作後の高忠実性レンダリングを維持できる。 我々のアプローチは、高品質なレンダリングを維持しながら、大きな変形、局所的な操作、ソフトボディシミュレーションを処理できる。 さらに,本手法は3DGSから抽出した不正確なメッシュに対しても有効であることを示す。 実験により,本手法の有効性とベースラインアプローチに対する優位性を実証した。

関連論文リスト

• 3D-HGS: 3D Half-Gaussian Splatting [5.766096863155448]
  光リアルな3D再構成は、3Dコンピュータビジョンの基本的な問題である。 本稿では,プラグアンドプレイカーネルとして使用できる3Dハーフガウス(3D-HGS)カーネルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T19:04:29Z)
• $\textit{S}^3$Gaussian: Self-Supervised Street Gaussians for Autonomous Driving [82.82048452755394]
  光リアルなストリートシーンの3D再構成は、現実の自動運転シミュレータを開発する上で重要な技術である。 既存のストリート3DGS法の多くは、静的および動的要素を分解するために、トラックされた3D車両バウンディングボックスを必要とする。 動的および静的な要素を4次元整合性から分解する自己教師付きストリートガウス(textitS3$Gaussian)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T17:57:08Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos [33.779636707618785]
  我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。 鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。 定量的および定性的な実験によって学習した変形の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T05:40:53Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。