論文の概要: Towards Realistic Example-based Modeling via 3D Gaussian Stitching

• arxiv url: http://arxiv.org/abs/2408.15708v1
• Date: Wed, 28 Aug 2024 11:13:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 16:10:57.781735
• Title: Towards Realistic Example-based Modeling via 3D Gaussian Stitching
• Title（参考訳）: 3次元ガウスストッチ法による実例ベースモデリングに向けて
• Authors: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin,
• Abstract要約: サンプル誘導合成を用いた点ベース表現における複数のガウス場を組み合わせた例に基づくモデリング手法を提案する。 具体的には、構成について、複数のフィールドをリアルタイムでセグメント化し変換するGUIを作成し、意味論的に意味のあるモデルの合成を容易に得る。 テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。
• 参考スコア（独自算出の注目度）: 31.710954782769377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.
• Abstract（参考訳）: サンプルベースモデリングと呼ばれる新しいモデルを再構築するために既存のモデルの一部を使用することは、コンピュータグラフィックスの領域における古典的な方法論である。 以前の作品は、主に形状の合成に焦点を当てており、現実世界のシーンから捉えた3Dオブジェクトのリアルな合成には、非常に使いづらい。 これにより複数のNeRFを1つの3Dシーンに統合し、シームレスな外観ブレンディングを実現する。 しかし、現在のSeamlessNeRF法は、その勾配に基づく戦略とグリッドベースの表現のため、現実世界のシーンに対してインタラクティブな編集と調和的な縫い合わせを実現するのに苦労している。 この目的のために、サンプル誘導合成を用いた点ベース表現において複数のガウス場を組み合わせたサンプルベースモデリング手法を提案する。 具体的には、3Dガウススプレイティング(3DGS)で表されるモデルの意味論的意味のある構成を容易に得ることができる。 テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。 そこで本研究では, 従来の濃厚なテクスチャと内容を保存しながら, ブレンディングを調和させる新しいサンプリングベースクローニング法を提案する。 私たちのワークフローは3つのステップで構成されています。 1) 適切なGUIを用いたガウスモデルのリアルタイムセグメンテーションと変換 2)ソースモデルとターゲットモデルとの交差領域における境界点を特定するためのKNN解析 3)サンプリングベースクローニングと勾配制約を用いた対象モデルの2相最適化を行った。 大規模な実験結果から,本手法は現実的な合成において先行研究よりも著しく優れており,その実用性を示している。 さらなるデモはhttps://ingra14m.github.io/gs_stitching_websiteで公開されている。

関連論文リスト

• Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
  局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。 我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。 3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:48:01Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
  メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。 また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
  論文  参考訳（メタデータ） (2024-02-02T14:50:23Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• MeshDiffusion: Score-based Generative 3D Mesh Modeling [68.40770889259143]
  本研究では,シーンの自動生成と物理シミュレーションのための現実的な3次元形状生成の課題について考察する。 メッシュのグラフ構造を利用して、3Dメッシュを生成するのにシンプルだが非常に効果的な生成モデリング手法を用いる。 具体的には、変形可能な四面体格子でメッシュを表現し、この直接パラメトリゼーション上で拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-14T17:59:01Z)
• VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
  最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。 既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。 既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
  論文  参考訳（メタデータ） (2022-06-15T17:44:22Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。