論文の概要: Neural 4D Evolution under Large Topological Changes from 2D Images

• arxiv url: http://arxiv.org/abs/2411.15018v1
• Date: Fri, 22 Nov 2024 15:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:02:59.043055
• Title: Neural 4D Evolution under Large Topological Changes from 2D Images
• Title（参考訳）: 2次元画像からの大規模トポロジカル変化下におけるニューラル4次元の進化
• Authors: AmirHossein Naghi Razlighi, Tiago Novello, Asen Nachkov, Thomas Probst, Danda Paudel,
• Abstract要約: 本研究では,大きなトポロジ的変化の下での3次元神経進化を4次元に拡張する上での課題に対処する。 i) 変形を識別・符号化する新しいアーキテクチャを導入し, SDF を学習し, (ii) 時間的一貫性を強制する手法を提案する。 2次元画像から直接の学習を容易にするために,RGB画像から幾何学や外観を遠ざける学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.678824325812255
• License:
• Abstract: In the literature, it has been shown that the evolution of the known explicit 3D surface to the target one can be learned from 2D images using the instantaneous flow field, where the known and target 3D surfaces may largely differ in topology. We are interested in capturing 4D shapes whose topology changes largely over time. We encounter that the straightforward extension of the existing 3D-based method to the desired 4D case performs poorly. In this work, we address the challenges in extending 3D neural evolution to 4D under large topological changes by proposing two novel modifications. More precisely, we introduce (i) a new architecture to discretize and encode the deformation and learn the SDF and (ii) a technique to impose the temporal consistency. (iii) Also, we propose a rendering scheme for color prediction based on Gaussian splatting. Furthermore, to facilitate learning directly from 2D images, we propose a learning framework that can disentangle the geometry and appearance from RGB images. This method of disentanglement, while also useful for the 4D evolution problem that we are concentrating on, is also novel and valid for static scenes. Our extensive experiments on various data provide awesome results and, most importantly, open a new approach toward reconstructing challenging scenes with significant topological changes and deformations. Our source code and the dataset are publicly available at https://github.com/insait-institute/N4DE.
• Abstract（参考訳）: 文献では、既知の3次元表面から対象への進化は、既知の3次元表面と対象の3次元表面との大きな相違がある瞬間流場を用いて2次元画像から学べることが示されている。 時間とともに大きく変化する4D形状の撮影に興味があります。 所望の4Dケースに対する既存の3D手法の直接的な拡張が不十分であることに遭遇した。 本研究では,2つの新しい修正を提案することで,大きなトポロジカルな変化の下での3次元神経進化を4次元に拡張する上での課題に対処する。 より詳しく紹介する。 (i)変形を識別して符号化し、SDFを学習する新しいアーキテクチャ (二)時間的一貫性を課す技法。 また,ガウススプラッティングに基づく色予測のレンダリング手法を提案する。 さらに,2次元画像から直接の学習を容易にするために,RGB画像から幾何学や外観を遠ざける学習フレームワークを提案する。 この解離法は、私たちが集中している4次元進化問題にも有用であるが、静的なシーンにも新規で有効である。 様々なデータに関する広範な実験は素晴らしい結果をもたらし、そして最も重要なことは、重要なトポロジ的変化と変形を伴う挑戦的なシーンを再構築するための新しいアプローチを開くことである。 ソースコードとデータセットはhttps://github.com/insait-institute/N4DEで公開されています。

関連論文リスト

• Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
  単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。 3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。 本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:14:11Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• A Unified Approach for Text- and Image-guided 4D Scene Generation [58.658768832653834]
  本研究では,テキストから4Dへの新たな2段階合成手法であるDream-in-4Dを提案する。 提案手法は,画像の画質,3次元整合性,テキスト・ツー・4次元生成におけるテキストの忠実度を著しく向上することを示す。 本手法は,テキストから4D,画像から4D,パーソナライズされた4D生成タスクに対して,初めて統一されたアプローチを提供する。
  論文  参考訳（メタデータ） (2023-11-28T15:03:53Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian [58.704089101826774]
  形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
  論文  参考訳（メタデータ） (2022-03-29T04:57:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。