論文の概要: Deformable NeRF using Recursively Subdivided Tetrahedra
- arxiv url: http://arxiv.org/abs/2410.04402v1
- Date: Sun, 6 Oct 2024 08:35:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 08:00:46.497533
- Title: Deformable NeRF using Recursively Subdivided Tetrahedra
- Title（参考訳）: Recursively Subdivided Tetrahedra を用いた変形性NeRF
- Authors: Zherui Qiu, Chenqu Ren, Kaiwen Song, Xiaoyi Zeng, Leyuan Yang, Juyong Zhang,
- Abstract要約: DeformRFは、四面体メッシュのマニピュラビリティを、特徴格子表現の高品質なレンダリング機能とシームレスに統合する手法である。
合成データと実撮データの両方でDeformRFを総合的に評価する。
- 参考スコア（独自算出の注目度）: 24.080838312186376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural radiance fields (NeRF) have shown promise in novel view synthesis, their implicit representation limits explicit control over object manipulation. Existing research has proposed the integration of explicit geometric proxies to enable deformation. However, these methods face two primary challenges: firstly, the time-consuming and computationally demanding tetrahedralization process; and secondly, handling complex or thin structures often leads to either excessive, storage-intensive tetrahedral meshes or poor-quality ones that impair deformation capabilities. To address these challenges, we propose DeformRF, a method that seamlessly integrates the manipulability of tetrahedral meshes with the high-quality rendering capabilities of feature grid representations. To avoid ill-shaped tetrahedra and tetrahedralization for each object, we propose a two-stage training strategy. Starting with an almost-regular tetrahedral grid, our model initially retains key tetrahedra surrounding the object and subsequently refines object details using finer-granularity mesh in the second stage. We also present the concept of recursively subdivided tetrahedra to create higher-resolution meshes implicitly. This enables multi-resolution encoding while only necessitating the storage of the coarse tetrahedral mesh generated in the first training stage. We conduct a comprehensive evaluation of our DeformRF on both synthetic and real-captured datasets. Both quantitative and qualitative results demonstrate the effectiveness of our method for novel view synthesis and deformation tasks. Project page: https://ustc3dv.github.io/DeformRF/
- Abstract（参考訳）: ニューラル放射場(NeRF)は、新しいビュー合成において有望であるが、その暗黙的な表現は、オブジェクト操作に対する明示的な制御を制限する。
既存の研究では、変形を可能にするための明示的な幾何学的プロキシの統合が提案されている。
しかし、これらの手法は2つの大きな課題に直面している: 第一に、時間がかかり、計算的に要求される四面体化プロセス; 第二に、複雑な構造や細い構造を扱うことは、過度に、貯蔵集約的な四面体メッシュか、変形能力を損なう品質の悪いもののいずれかにつながる。
これらの課題に対処するために,四面体メッシュのマニピュラビリティと特徴格子表現の高品質なレンダリング機能とをシームレスに統合するDeformRFを提案する。
各物体に対する不整形四面体と四面体化を避けるため, 2段階の訓練戦略を提案する。
ほぼ規則な四面体格子から始めると、このモデルは最初、物体を囲むキーテトラヘドラを保持し、その後、2段目においてより微細な粒度メッシュを用いてオブジェクトの詳細を洗練する。
また,高分解能メッシュを暗黙的に生成するために,再帰的に分割するテトラヘドラの概念も提示する。
これにより、第1のトレーニング段階で発生する粗い四面体メッシュの保存のみを必要としながら、マルチレゾリューション符号化が可能となる。
合成データと実撮データの両方でDeformRFを総合的に評価する。
定量的および定性的な結果は,新しいビュー合成および変形タスクにおける本手法の有効性を示すものである。
プロジェクトページ:https://ustc3dv.github.io/DeformRF/
関連論文リスト
- Mesh Denoising Transformer [104.5404564075393]
Mesh Denoisingは、入力メッシュからノイズを取り除き、特徴構造を保存することを目的としている。
SurfaceFormerはTransformerベースのメッシュDenoisingフレームワークのパイオニアだ。
局所曲面記述子(Local Surface Descriptor)として知られる新しい表現は、局所幾何学的複雑さをキャプチャする。
Denoising Transformerモジュールは、マルチモーダル情報を受信し、効率的なグローバル機能アグリゲーションを実現する。
論文 参考訳（メタデータ） (2024-05-10T15:27:43Z) - FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis [48.9652334528436]
本稿では、周波数領域解析の観点から、FouriScaleの革新的な学習不要アプローチを紹介する。
従来の拡散モデルの畳み込み層を,低域演算とともに拡張手法を組み込むことで置き換える。
提案手法は, 生成画像の構造的整合性と忠実度をバランスさせ, 任意のサイズ, 高解像度, 高品質な生成の驚くべき能力を実現する。
論文 参考訳（メタデータ） (2024-03-19T17:59:33Z) - Learning Dynamic Tetrahedra for High-Quality Talking Head Synthesis [31.90503003079933]
我々は、ニューラルネットワークによる明示的な動的メッシュをエンコードする新しいハイブリッド表現であるDynamic Tetrahedra(DynTet)を紹介する。
以前の研究と比較すると、DynTetは様々なメトリクスに従って忠実さ、唇の同期、リアルタイムのパフォーマンスを著しく改善している。
論文 参考訳（メタデータ） (2024-02-27T09:56:15Z) - Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。
時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文 参考訳（メタデータ） (2024-01-12T15:05:08Z) - TetGAN: A Convolutional Neural Network for Tetrahedral Mesh Generation [22.302674091474838]
四面体メッシュを生成するために設計された畳み込みニューラルネットワークTetGANを提案する。
我々の定式化は、四面体畳み込み、プーリング、アップサンプリング操作の定義を可能にする。
本稿では,テトラヘドラルメッシュを意味的に意味のある潜在空間にエンコードする手法について述べる。
論文 参考訳（メタデータ） (2022-10-11T19:03:22Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳（メタデータ） (2021-11-08T05:29:35Z) - Recurrent Multi-view Alignment Network for Unsupervised Surface
Registration [79.72086524370819]
非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。
我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。
また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
論文 参考訳（メタデータ） (2020-11-24T14:22:42Z) - Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。
ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。
Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
論文 参考訳（メタデータ） (2020-11-03T02:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。