論文の概要: DNF: Unconditional 4D Generation with Dictionary-based Neural Fields
- arxiv url: http://arxiv.org/abs/2412.05161v1
- Date: Fri, 06 Dec 2024 16:25:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-09 15:57:25.973069
- Title: DNF: Unconditional 4D Generation with Dictionary-based Neural Fields
- Title（参考訳）: DNF:辞書ベースニューラルネットワークを用いた無条件4次元生成
- Authors: Xinyi Zhang, Naiqi Li, Angela Dai,
- Abstract要約: 非条件生成モデルのための新しい4次元表現であるDNFを提案する。
DDNFは、歪んだ形状と動きを持つ変形可能な形状を効率的にモデル化する。
提案手法は,有効かつ高忠実な4Dアニメーションを生成することができる。
- 参考スコア（独自算出の注目度）: 32.25164913000621
- License:
- Abstract: While remarkable success has been achieved through diffusion-based 3D generative models for shapes, 4D generative modeling remains challenging due to the complexity of object deformations over time. We propose DNF, a new 4D representation for unconditional generative modeling that efficiently models deformable shapes with disentangled shape and motion while capturing high-fidelity details in the deforming objects. To achieve this, we propose a dictionary learning approach to disentangle 4D motion from shape as neural fields. Both shape and motion are represented as learned latent spaces, where each deformable shape is represented by its shape and motion global latent codes, shape-specific coefficient vectors, and shared dictionary information. This captures both shape-specific detail and global shared information in the learned dictionary. Our dictionary-based representation well balances fidelity, contiguity and compression -- combined with a transformer-based diffusion model, our method is able to generate effective, high-fidelity 4D animations.
- Abstract（参考訳）: 拡散に基づく形状の3次元生成モデルによって顕著な成功を収めてきたが、時間とともに物体の変形が複雑になるため、4次元生成モデリングは難しいままである。
非条件生成モデルのための新しい4次元表現であるDNFを提案する。
そこで本研究では,4次元運動をニューラルネットワークとして形状から切り離す辞書学習手法を提案する。
形状と動きは学習された潜伏空間として表現され、各変形可能な形状は、その形状と運動のグローバル潜伏符号、形状特異的係数ベクトル、共有辞書情報によって表される。
これは、学習辞書における形状特化情報とグローバル共有情報の両方をキャプチャする。
辞書に基づく表現は, 忠実度, 連続度, 圧縮性のバランスがよく, トランスフォーマーに基づく拡散モデルと組み合わせることで, 高忠実度4Dアニメーションを効果的に生成することができる。
関連論文リスト
- NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - Beyond Skeletons: Integrative Latent Mapping for Coherent 4D Sequence Generation [48.671462912294594]
与えられた条件下での3次元形状のアニメーションでコヒーレントな4次元配列を生成する新しいフレームワークを提案する。
まず、各詳細な3次元形状フレームの形状と色情報を符号化するために、積分潜在統一表現を用いる。
提案手法により,低次元空間における拡散モデルを用いて4次元配列の生成を制御できる。
論文 参考訳（メタデータ） (2024-03-20T01:59:43Z) - Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation
via Triplane [16.684276798449115]
HNDFは、基礎となる表現を暗黙的に学習し、複雑な高密度対応を明示的に軸整列三面体特徴に分解する手法である。
新しい3次元形状を直接生成する従来の手法とは異なり、微分同相流による変形テンプレート形状による形状生成の考え方を探求する。
論文 参考訳（メタデータ） (2023-07-04T23:28:01Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳（メタデータ） (2023-06-29T17:17:57Z) - LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human
Modeling [69.56581851211841]
そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。
私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。
LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2022-08-18T03:49:44Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳（メタデータ） (2022-03-29T22:03:18Z) - Identity-Disentangled Neural Deformation Model for Dynamic Meshes [8.826835863410109]
我々は、暗黙の神経機能を用いたポーズ依存的な変形から、同一性によって引き起こされる形状変化を歪曲する神経変形モデルを学ぶ。
本稿では,大域的ポーズアライメントとニューラル変形モデルを統合する2つの手法を提案する。
また, 固定テンプレートの制約を伴わずにヤシの印刷や腱などの表面の細部を再構築する際に, 従来の骨格駆動モデルよりも優れていた。
論文 参考訳（メタデータ） (2021-09-30T17:43:06Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - Deep Implicit Templates for 3D Shape Representation [70.9789507686618]
深い暗黙表現における明示的な対応推論を支援する新しい3次元形状表現を提案する。
我々のキーとなる考え方は、テンプレートの暗黙関数の条件変形としてDIFを定式化することである。
提案手法は,形状の集合に対する一般的な暗黙テンプレートを学習するだけでなく,すべての形状を相互に同時に対応させることも可能であることを示す。
論文 参考訳（メタデータ） (2020-11-30T06:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。