論文の概要: Textured 3D Regenerative Morphing with 3D Diffusion Prior
- arxiv url: http://arxiv.org/abs/2502.14316v1
- Date: Thu, 20 Feb 2025 07:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:29:20.199413
- Title: Textured 3D Regenerative Morphing with 3D Diffusion Prior
- Title（参考訳）: 3次元拡散を先行したテクスチャ型3次元再生モルフィング
- Authors: Songlin Yang, Yushi Lan, Honghua Chen, Xingang Pan,
- Abstract要約: テクスチャ化された3Dモーフィングは、2つの3Dオブジェクト間の滑らかで可塑性なシーケンスを生成する。
従来は点対点対応の確立と滑らかな変形軌跡の決定に頼っていた。
本稿では,3次元拡散を用いた3次元再生型モーフィング法を提案する。
- 参考スコア（独自算出の注目度）: 29.7508625572437
- License:
- Abstract: Textured 3D morphing creates smooth and plausible interpolation sequences between two 3D objects, focusing on transitions in both shape and texture. This is important for creative applications like visual effects in filmmaking. Previous methods rely on establishing point-to-point correspondences and determining smooth deformation trajectories, which inherently restrict them to shape-only morphing on untextured, topologically aligned datasets. This restriction leads to labor-intensive preprocessing and poor generalization. To overcome these challenges, we propose a method for 3D regenerative morphing using a 3D diffusion prior. Unlike previous methods that depend on explicit correspondences and deformations, our method eliminates the additional need for obtaining correspondence and uses the 3D diffusion prior to generate morphing. Specifically, we introduce a 3D diffusion model and interpolate the source and target information at three levels: initial noise, model parameters, and condition features. We then explore an Attention Fusion strategy to generate more smooth morphing sequences. To further improve the plausibility of semantic interpolation and the generated 3D surfaces, we propose two strategies: (a) Token Reordering, where we match approximate tokens based on semantic analysis to guide implicit correspondences in the denoising process of the diffusion model, and (b) Low-Frequency Enhancement, where we enhance low-frequency signals in the tokens to improve the quality of generated surfaces. Experimental results show that our method achieves superior smoothness and plausibility in 3D morphing across diverse cross-category object pairs, offering a novel regenerative method for 3D morphing with textured representations.
- Abstract（参考訳）: テクスチャ化された3Dモーフィングは2つの3Dオブジェクト間の滑らかで可塑性な補間シーケンスを生成し、形状とテクスチャの遷移に焦点を当てる。
これは、映画製作における視覚効果のような創造的応用にとって重要である。
従来の手法では、ポイント・ツー・ポイント対応の確立と滑らかな変形軌跡の決定に頼っていた。
この制限は労働集約的な前処理と低い一般化につながる。
これらの課題を克服するために,3次元拡散を用いた3次元再生モーフィング法を提案する。
明示的な対応や変形に依存する従来の手法とは異なり,本手法は対応性を得るための追加の必要性を排除し,モーフィングを生成する前に3次元拡散を利用する。
具体的には、3次元拡散モデルを導入し、ソースとターゲット情報を3つのレベル(初期雑音、モデルパラメータ、条件特徴)で補間する。
次に、よりスムーズなモーフィングシーケンスを生成するために、アテンションフュージョン戦略を探索する。
意味補間と生成した3次元表面の妥当性をさらに向上するために,我々は2つの戦略を提案する。
(a)拡散モデルの復調過程における暗黙の対応を導くための意味分析に基づく近似トークンの整合化
b) 低周波化により, トークン内の低周波信号が向上し, 生成面の質が向上する。
実験結果から,多種多様なカテゴリのオブジェクト対にまたがる3次元モーフィングにおいて,スムーズ性および可塑性性が向上し,テクスチャ表現を用いた新しい3次元モーフィング法が得られた。
関連論文リスト
- Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。
我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
論文 参考訳（メタデータ） (2024-10-09T10:41:08Z) - NeRFDeformer: NeRF Transformation from a Single View via 3D Scene Flows [60.291277312569285]
本研究では,単一観測値に基づいてNeRF表現を自動的に修正する手法を提案する。
本手法は, 変形を3次元流れ, 特に剛性変換の重み付き線形ブレンディングとして定義する。
また,単一観測によるNeRFシーンの修正問題を探索するための新しいデータセットも導入した。
論文 参考訳（メタデータ） (2024-06-15T07:58:08Z) - PolyDiff: Generating 3D Polygonal Meshes with Diffusion Models [15.846449180313778]
PolyDiffは、現実的で多様な3Dポリゴンメッシュを直接生成できる最初の拡散ベースのアプローチである。
我々のモデルは、下流3Dに統合可能な高品質な3D多角形メッシュを生成することができる。
論文 参考訳（メタデータ） (2023-12-18T18:19:26Z) - SE(3) Diffusion Model-based Point Cloud Registration for Robust 6D
Object Pose Estimation [66.16525145765604]
実世界のシナリオにおける6次元オブジェクトポーズ推定のためのSE(3)拡散モデルに基づく点クラウド登録フレームワークを提案する。
提案手法は,3次元登録タスクをデノナイズ拡散過程として定式化し,音源雲の姿勢を段階的に洗練する。
実世界のTUD-L, LINEMOD, およびOccluded-LINEMODデータセットにおいて, 拡散登録フレームワークが顕著なポーズ推定性能を示すことを示す。
論文 参考訳（メタデータ） (2023-10-26T12:47:26Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳（メタデータ） (2023-06-07T17:47:50Z) - MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。
異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。
本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
論文 参考訳（メタデータ） (2023-04-17T13:49:04Z) - Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。
本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
論文 参考訳（メタデータ） (2023-03-21T17:36:36Z) - 3D Neural Field Generation using Triplane Diffusion [37.46688195622667]
ニューラルネットワークの3次元認識のための効率的な拡散ベースモデルを提案する。
当社のアプローチでは,ShapeNetメッシュなどのトレーニングデータを,連続的占有フィールドに変換することによって前処理する。
本論文では,ShapeNetのオブジェクトクラスにおける3D生成の現状について述べる。
論文 参考訳（メタデータ） (2022-11-30T01:55:52Z) - DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。
本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。
提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
論文 参考訳（メタデータ） (2022-09-29T17:50:40Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。