論文の概要: DreamTexture: Shape from Virtual Texture with Analysis by Augmentation
- arxiv url: http://arxiv.org/abs/2503.16412v1
- Date: Thu, 20 Mar 2025 17:59:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 16:36:04.204683
- Title: DreamTexture: Shape from Virtual Texture with Analysis by Augmentation
- Title(参考訳): DreamTexture: 拡張による分析による仮想テクスチャの形状
- Authors: Ananta R. Bhattarai, Xingzhe He, Alla Sheffer, Helge Rhodin,
- Abstract要約: DreamFusionは、生成モデルと微分レンダリングの進歩を組み合わせることで、仮想ビューから教師なしの3D再構築のための新しいパラダイムを確立した。
本研究では,モノクロ深度を応用して3Dオブジェクトを再構成する新しい形状-仮想-テクスチャ手法DreamTextureを提案する。
提案手法は, 仮想テクスチャを入力中の実深度キューと整列させることにより, 入力画像のテクスチャをテクスチャ化し, 近代拡散モデルで符号化された単分子形状の固有理解を活用する。
- 参考スコア(独自算出の注目度): 23.506873004295674
- License:
- Abstract: DreamFusion established a new paradigm for unsupervised 3D reconstruction from virtual views by combining advances in generative models and differentiable rendering. However, the underlying multi-view rendering, along with supervision from large-scale generative models, is computationally expensive and under-constrained. We propose DreamTexture, a novel Shape-from-Virtual-Texture approach that leverages monocular depth cues to reconstruct 3D objects. Our method textures an input image by aligning a virtual texture with the real depth cues in the input, exploiting the inherent understanding of monocular geometry encoded in modern diffusion models. We then reconstruct depth from the virtual texture deformation with a new conformal map optimization, which alleviates memory-intensive volumetric representations. Our experiments reveal that generative models possess an understanding of monocular shape cues, which can be extracted by augmenting and aligning texture cues -- a novel monocular reconstruction paradigm that we call Analysis by Augmentation.
- Abstract(参考訳): DreamFusionは、生成モデルと微分レンダリングの進歩を組み合わせることで、仮想ビューから教師なしの3D再構築のための新しいパラダイムを確立した。
しかし、基礎となるマルチビューレンダリングは、大規模生成モデルの監督とともに、計算コストが高く、制約の少ないものである。
本研究では,モノクロ深度を応用して3Dオブジェクトを再構成する新しい形状-仮想-テクスチャ手法DreamTextureを提案する。
提案手法は, 仮想テクスチャを入力中の実深度キューと整列させ, 近代拡散モデルで符号化された単分子形状の固有理解を活用することによって, 入力画像のテクスチャ化を行う。
次に、メモリ集約ボリューム表現を緩和する新しい共形写像最適化により、仮想テクスチャ変形から深さを再構築する。
実験の結果, 生成モデルは単分子形状の手がかりを理解でき, テクスチャの手がかりを増大・整合させることで抽出できることがわかった。
関連論文リスト
- LinPrim: Linear Primitives for Differentiable Volumetric Rendering [53.780682194322225]
線形プリミティブ-オクタヘドラとテトラヘドラ-ボスに基づく2つの新しいシーン表現を導入する。
この定式化は、ダウンストリームアプリケーションのオーバーヘッドを最小限にする、標準メッシュベースのツールと自然に一致します。
再現精度を向上するためにプリミティブを減らしながら,最先端のボリューム手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2025-01-27T18:49:38Z) - Textured Mesh Saliency: Bridging Geometry and Texture for Human Perception in 3D Graphics [50.23625950905638]
6自由度(6-DOF)VR環境下での革新的な視線追跡実験により構築したテクスチャメッシュ・サリエンシのための新しいデータセットを提案する。
本モデルでは,各三角形の面を個々の単位として扱い,各局所表面領域の重要性を反映した塩分濃度値を割り当てることで,テクスチャメッシュ表面の塩分濃度マップを推定する。
論文 参考訳(メタデータ) (2024-12-11T08:27:33Z) - DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。
幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。
テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
論文 参考訳(メタデータ) (2024-11-03T15:15:01Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳(メタデータ) (2024-05-18T11:49:09Z) - Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。
トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。
主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
論文 参考訳(メタデータ) (2024-04-08T15:25:50Z) - Single-view 3D Scene Reconstruction with High-fidelity Shape and Texture [47.44029968307207]
本研究では,物体の形状とテクスチャを同時に高忠実度に再現する新しい枠組みを提案する。
提案手法は,SSR(Single-view Neural implicit Shape and Radiance Field)表現を用いて,明示的な3次元形状制御とボリュームレンダリングの両方を活用する。
我々のフレームワークの特徴は、単一のビュー3D再構成モデルにレンダリング機能をシームレスに統合しながら、きめ細かいテクスチャメッシュを生成する能力である。
論文 参考訳(メタデータ) (2023-11-01T11:46:15Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳(メタデータ) (2023-03-03T17:14:44Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。