論文の概要: Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment
- arxiv url: http://arxiv.org/abs/2606.07117v1
- Date: Fri, 05 Jun 2026 10:13:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.686868
- Title: Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment
- Title(参考訳): Native3D: 統一メッシュテクスチャモデリングとセマンティックアライメントによるエンドツーエンド3Dシーン生成
- Authors: Yibo Liu, Ziwei Zhang, Haozhou Pang, Menghao Li, Lanshan He, Gan Qi,
- Abstract要約: Native3Dは、2D中間表現を完全にバイパスする最初のエンドツーエンドの3Dシーン生成フレームワークである。
本稿では,トランスフォーマーを用いたシーンエンコーダを用いて,幾何学的構造とテクスチャの特徴を同時にモデル化したメッシュ・テクスチャ結合表現を提案する。
- 参考スコア(独自算出の注目度): 8.98466538269363
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents Native3D, the first end-to-end 3D scene generation framework that completely bypasses 2D intermediate representations. Traditional approaches typically require adapting 3D representations to the 2D domain to leverage pre-trained diffusion models, which inevitably introduces domain adaptation issues including geometric structural distortion and texture detail degradation. To address these limitations, we design a unified mesh-texture joint representation that simultaneously models both geometric structures and texture features through a Transformer-based scene encoder, effectively maintaining spatial relationships and visual consistency among objects within scenes. We further propose the 3D Representation Alignment Loss (3D REPA Loss), which employs an improved contrastive learning mechanism to align multi-level semantic representations in the latent space, significantly enhancing geometric and textural fidelity. Experimental results demonstrate that Native3D outperforms existing methods in both generation quality and editing flexibility, providing a novel solution for 3D scene editing.
- Abstract(参考訳): 本稿では,2次元中間表現を完全にバイパスする最初のエンドツーエンド3Dシーン生成フレームワークであるNative3Dについて述べる。
従来のアプローチでは、事前に訓練された拡散モデルを活用するために3次元表現を2D領域に適用する必要があるが、これは必然的に幾何学的構造歪みやテクスチャディテールの劣化を含む領域適応の問題をもたらす。
これらの制約に対処するために、トランスフォーマーベースのシーンエンコーダを用いて、幾何学的構造とテクスチャの特徴を同時にモデル化し、シーン内のオブジェクト間の空間的関係と視覚的一貫性を効果的に維持する統合メッシュ・テクスチャ共同表現を設計する。
さらに3D Representation Alignment Loss(3D REPA Loss)を提案する。この3D Representation Alignment Loss(3D REPA Loss)は、改良されたコントラスト学習機構を用いて、潜在空間における多レベル意味表現を調整し、幾何学的およびテクスチャ的忠実度を著しく向上する。
実験の結果,Native3Dは生成品質と編集の柔軟性の両方において既存の手法よりも優れており,新たな3Dシーン編集ソリューションを提供することがわかった。
関連論文リスト
- Interp3D: Correspondence-aware Interpolation for Generative Textured 3D Morphing [63.141976759536625]
テクスチャ化された3DモーフィングのためのトレーニングフリーフレームワークであるInterp3Dを提案する。
生成的先行性を利用し、幾何学的忠実さとテクスチャコヒーレンスの両方を保証するために、プログレッシブアライメント原理を採用する。
包括的評価のために, 難易度の高い専用データセットInterp3DDataを構築し, 忠実度, 遷移滑らか度, 可視性から生成結果を評価する。
論文 参考訳(メタデータ) (2026-01-20T16:03:22Z) - IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。
本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
論文 参考訳(メタデータ) (2025-10-26T14:57:44Z) - Constructing a 3D Scene from a Single Image [31.11317559252235]
SceneFuse-3Dは、単一のトップダウンビューからコヒーレントな3Dシーンを合成するために設計されたトレーニング不要のフレームワークである。
入力画像を重なり合う領域に分解し、事前訓練された3Dオブジェクトジェネレータを用いてそれぞれを生成する。
このモジュラー設計により、3次元の監督や微調整を必要とせず、解像度のボトルネックを克服し、空間構造を維持できる。
論文 参考訳(メタデータ) (2025-05-21T17:10:47Z) - Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。
図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
論文 参考訳(メタデータ) (2025-02-01T07:51:59Z) - VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing [22.39760469467524]
本研究では,2次元拡散モデルと3次元拡散モデルの間のモーダルギャップに対処する分散テクスチャ合成を提案する。
我々は、競合する領域との詳細な関係を改善するために、塗装モジュールを提示する。
論文 参考訳(メタデータ) (2024-07-05T12:11:33Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳(メタデータ) (2020-07-14T14:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。