論文の概要: ARM: Appearance Reconstruction Model for Relightable 3D Generation
- arxiv url: http://arxiv.org/abs/2411.10825v1
- Date: Sat, 16 Nov 2024 15:35:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:27:29.605017
- Title: ARM: Appearance Reconstruction Model for Relightable 3D Generation
- Title（参考訳）: ARM:再生可能な3D生成のための外観復元モデル
- Authors: Xiang Feng, Chang Yu, Zoubin Bi, Yintong Shang, Feng Gao, Hongzhi Wu, Kun Zhou, Chenfanfu Jiang, Yin Yang,
- Abstract要約: ARMは、スパースビューの画像から高品質な3Dメッシュとリアルな外観を再構築する。
ARMのコアは外見から幾何学を分離することにある。
ARMは既存の手法を量的にも質的にも上回っている。
- 参考スコア（独自算出の注目度）: 38.66506956417373
- License:
- Abstract: Recent image-to-3D reconstruction models have greatly advanced geometry generation, but they still struggle to faithfully generate realistic appearance. To address this, we introduce ARM, a novel method that reconstructs high-quality 3D meshes and realistic appearance from sparse-view images. The core of ARM lies in decoupling geometry from appearance, processing appearance within the UV texture space. Unlike previous methods, ARM improves texture quality by explicitly back-projecting measurements onto the texture map and processing them in a UV space module with a global receptive field. To resolve ambiguities between material and illumination in input images, ARM introduces a material prior that encodes semantic appearance information, enhancing the robustness of appearance decomposition. Trained on just 8 H100 GPUs, ARM outperforms existing methods both quantitatively and qualitatively.
- Abstract（参考訳）: 最近の画像から3Dへの再構成モデルは、幾何生成がかなり進んでいるが、現実的な外観を忠実に作り出すのに苦戦している。
そこで我々は,高品質な3Dメッシュを再構築し,スパースビュー画像からリアルな外観を再現するARMを紹介する。
ARMのコアは外見から幾何学を分離し、UVテクスチャ空間内で処理する。
従来の手法とは異なり、ARMはテクスチャマップに計測値を明示的にバックプロジェクションし、グローバルな受容場を持つUV宇宙モジュールで処理することで、テクスチャ品質を改善する。
ARMは、入力画像における材料と照明のあいまいさを解決するために、セマンティックな外観情報をエンコードする素材を導入し、外観分解の堅牢性を高める。
ARMはたった8つのH100 GPUで訓練されており、既存のメソッドを定量的にも質的にも上回っている。
関連論文リスト
- Boosting 3D Object Generation through PBR Materials [32.732511476490316]
物理ベースレンダリング(PBR)材料の観点から,生成した3Dオブジェクトの品質を高める新しい手法を提案する。
アルベドやバンプマップでは、合成データに微調整された安定拡散を利用してこれらの値を抽出する。
粗さと金属度マップについては,対話的な調整を行うためのセミオートマチックなプロセスを採用する。
論文 参考訳（メタデータ） (2024-11-25T04:20:52Z) - RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。
複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。
スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
論文 参考訳（メタデータ） (2024-10-08T17:40:01Z) - VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis [22.493542492218303]
視覚的等方性3D再構成モデル (VI3DRM) は、一貫した立体空間内で動作するスパースビュー3D再構成モデルである。
セマンティック情報、色、材料特性、照明の切り離しを容易にすることで、VI3DRMは極めてリアルな画像を生成することができる。
論文 参考訳（メタデータ） (2024-09-12T16:47:57Z) - GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
マルチビュー画像から3次元メッシュを再構成する手法を提案する。
提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
論文 参考訳（メタデータ） (2024-06-09T05:19:24Z) - Delicate Textured Mesh Recovery from NeRF via Adaptive Surface
Refinement [78.48648360358193]
画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。
我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。
ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
論文 参考訳（メタデータ） (2023-03-03T17:14:44Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - OSTeC: One-Shot Texture Completion [86.23018402732748]
ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。
提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。
完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
論文 参考訳（メタデータ） (2020-12-30T23:53:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。