論文の概要: DiMeR: Disentangled Mesh Reconstruction Model

• arxiv url: http://arxiv.org/abs/2504.17670v1
• Date: Thu, 24 Apr 2025 15:39:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.441958
• Title: DiMeR: Disentangled Mesh Reconstruction Model
• Title（参考訳）: DiMeR:アンタングルメッシュ再構成モデル
• Authors: Lutao Jiang, Jiantao Lin, Kanghao Chen, Wenhang Ge, Xin Yang, Yifan Jiang, Yuanhuiyi Lyu, Xu Zheng, Yingcong Chen,
• Abstract要約: スパース・ビュー・メッシュ再構成のための新しい2ストリームフィードフォワードモデルであるDiMeRを導入する。 我々は,スパースビュー再構成,シングルイメージ・トゥ・3D,テキスト・トゥ・3Dなど,様々なタスクにまたがるロバストな機能を示す。
• 参考スコア（独自算出の注目度）: 24.07380724530745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advent of large-scale 3D datasets, feed-forward 3D generative models, such as the Large Reconstruction Model (LRM), have gained significant attention and achieved remarkable success. However, we observe that RGB images often lead to conflicting training objectives and lack the necessary clarity for geometry reconstruction. In this paper, we revisit the inductive biases associated with mesh reconstruction and introduce DiMeR, a novel disentangled dual-stream feed-forward model for sparse-view mesh reconstruction. The key idea is to disentangle both the input and framework into geometry and texture parts, thereby reducing the training difficulty for each part according to the Principle of Occam's Razor. Given that normal maps are strictly consistent with geometry and accurately capture surface variations, we utilize normal maps as exclusive input for the geometry branch to reduce the complexity between the network's input and output. Moreover, we improve the mesh extraction algorithm to introduce 3D ground truth supervision. As for texture branch, we use RGB images as input to obtain the textured mesh. Overall, DiMeR demonstrates robust capabilities across various tasks, including sparse-view reconstruction, single-image-to-3D, and text-to-3D. Numerous experiments show that DiMeR significantly outperforms previous methods, achieving over 30% improvement in Chamfer Distance on the GSO and OmniObject3D dataset.
• Abstract（参考訳）: 大規模3Dデータセットの出現に伴い、大再構成モデル(LRM)のようなフィードフォワード3D生成モデルは大きな注目を集め、大きな成功を収めている。 しかし、RGB画像は、しばしば訓練目的の相反を招き、幾何再構成に必要な明快さを欠いている。 本稿では,メッシュ再構築に伴う帰納的バイアスを再考し,スパースビューメッシュ再構築のための新しい2ストリームフィードフォワードモデルであるDiMeRを紹介する。 鍵となる考え方は、入力とフレームワークの両方を幾何学とテクスチャに分解し、オッカムのラザーの原理に従って各部分のトレーニングの難しさを減らすことである。 正規写像が幾何と厳密に整合し、表面の変動を正確に捉えていることを考慮し、正規写像を幾何学枝の排他的入力として利用して、ネットワークの入力と出力の間の複雑さを低減する。 さらに,メッシュ抽出アルゴリズムを改良し,3次元地中真実管理を導入する。 テクスチャブランチについては、入力としてRGBイメージを使用してテクスチャメッシュを得る。 全体として、DiMeRはスパースビュー再構成、シングルイメージから3D、テキストから3Dまで、さまざまなタスクにわたって堅牢な機能を示している。 DiMeRは、GSOおよびOmniObject3Dデータセット上で、30%以上のChamfer Distanceの改善を実現している。

関連論文リスト

• Geometric Prior-Guided Neural Implicit Surface Reconstruction in the Wild [13.109693095684921]
  暗黙の曲面最適化プロセスに複数の幾何学的制約を適用する新しい手法を提案する。 まず,SfM(Structure-from-motion)からのスパース3Dポイントを用いて,再構成表面の符号付き距離関数推定を改良する。 また、エッジ事前フィルタリングとマルチビュー整合性制約によって強化された正規予測器から導出される頑健な正規事前処理も採用する。
  論文  参考訳（メタデータ） (2025-05-12T09:17:30Z)
• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
  マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。 しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。 本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T02:30:31Z)
• Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps [1.6462601662291156]
  そこで本研究では,2次元正規地図を用いた布地人の3次元再構築のための新しい深層学習手法を提案する。 一つのRGB画像またはマルチビュー画像から、我々のネットワークは、静止ポーズで体を囲む四面体メッシュ上で識別された符号付き距離関数(SDF)を推定する。 ネットワーク推論と3次元再構成の両方に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-27T18:06:35Z)
• Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
  本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。 評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T08:45:26Z)
• Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement [78.48648360358193]
  画像からテクスチャ化された表面メッシュを生成する新しいフレームワークを提案する。 我々のアプローチは、NeRFを用いて幾何学とビュー依存の外観を効率的に初期化することから始まります。 ジオメトリと共同で外観を洗練し、テクスチャ画像に変換してリアルタイムレンダリングします。
  論文  参考訳（メタデータ） (2023-03-03T17:14:44Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
  MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。 これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。 本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-20T17:47:22Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry [3.970492757288025]
  本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。 U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
  論文  参考訳（メタデータ） (2021-04-28T11:31:35Z)
• Photometric Multi-View Mesh Refinement for High-Resolution Satellite Images [24.245977127434212]
  最先端の復元手法は一般的に2.5次元の標高データを生成する。 マルチビュー衛星画像から全3次元表面メッシュを復元する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-10T20:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。