論文の概要: 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images

• arxiv url: http://arxiv.org/abs/2303.15368v3
• Date: Tue, 16 Apr 2024 14:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 02:50:11.972957
• Title: 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images
• Title（参考訳）: 2S-UDF:多視点画像からのロバストな非水密モデル再構成のための新しい2段階UDF学習法
• Authors: Junkai Deng, Fei Hou, Xuhui Chen, Wencheng Wang, Ying He,
• Abstract要約: 多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。 定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
• 参考スコア（独自算出の注目度）: 12.076881343401329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, building on the foundation of neural radiance field, various techniques have emerged to learn unsigned distance fields (UDF) to reconstruct 3D non-watertight models from multi-view images. Yet, a central challenge in UDF-based volume rendering is formulating a proper way to convert unsigned distance values into volume density, ensuring that the resulting weight function remains unbiased and sensitive to occlusions. Falling short on these requirements often results in incorrect topology or large reconstruction errors in resulting models. This paper addresses this challenge by presenting a novel two-stage algorithm, 2S-UDF, for learning a high-quality UDF from multi-view images. Initially, the method applies an easily trainable density function that, while slightly biased and transparent, aids in coarse reconstruction. The subsequent stage then refines the geometry and appearance of the object to achieve a high-quality reconstruction by directly adjusting the weight function used in volume rendering to ensure that it is unbiased and occlusion-aware. Decoupling density and weight in two stages makes our training stable and robust, distinguishing our technique from existing UDF learning approaches. Evaluations on the DeepFashion3D, DTU, and BlendedMVS datasets validate the robustness and effectiveness of our proposed approach. In both quantitative metrics and visual quality, the results indicate our superior performance over other UDF learning techniques in reconstructing 3D non-watertight models from multi-view images. Our code is available at https://bitbucket.org/jkdeng/2sudf/.
• Abstract（参考訳）: 近年, ニューラル放射場の基礎として, 多視点画像から3次元非水密モデルを構築するために, 無符号距離場(UDF)を学習する様々な技術が出現している。 しかし、UDFベースのボリュームレンダリングにおける中心的な課題は、符号なし距離の値を体積密度に変換する適切な方法を定式化し、結果として生じる重み関数が偏りがなく、オクルージョンに敏感であることを保証することである。 これらの要件を満たさないと、しばしば不正確なトポロジーや、結果として生じるモデルの大規模な再構成エラーが発生する。 本稿では,多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズムである2S-UDFを提案することで,この問題に対処する。 当初は、わずかに偏りがあり透明であるが、粗い復元を補助する、容易に訓練可能な密度関数を適用した。 その後のステージでは、形状や外観を洗練させ、ボリュームレンダリングで使用される重み関数を直接調整して高品質な再構成を実現する。 2段階の密度と重量の分離により、トレーニングは安定的で堅牢になり、既存のUDF学習手法と区別できる。 DeepFashion3D,DTU,BlendedMVSデータセットの評価は,提案手法の堅牢性と有効性を評価する。 その結果,多視点画像から3次元非水密モデルの再構成において,他のUDF学習手法よりも優れた性能を示した。 私たちのコードはhttps://bitbucket.org/jkdeng/2sudf/で利用可能です。

関連論文リスト

• DepthLab: From Partial to Complete [80.58276388743306]
  不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。 この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。 提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2024-12-24T04:16:38Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• FOF-X: Towards Real-time Detailed Human Reconstruction from a Single Image [68.84221452621674]
  本稿では,1枚の画像から詳細な人物形状をリアルタイムに再現するFOF-Xを提案する。 FOF-Xはテクスチャや照明による性能劣化を避ける。 FOFとメッシュ表現間の変換アルゴリズムをラプラシアン制約とオートマトンベース不連続整合器で拡張する。
  論文  参考訳（メタデータ） (2024-12-08T14:46:29Z)
• DCUDF2: Improving Efficiency and Accuracy in Extracting Zero Level Sets from Unsigned Distance Fields [11.397415082340482]
  符号なし距離場(UDF)は複雑な位相を持つモデルの表現を可能にするが、これらの場からの正確なゼロレベル集合は重大な問題を引き起こす。 我々は、UDFからゼロレベルセットを抽出するために、現在の最先端手法の強化であるDF2を紹介する。 提案手法では,自己適応重みを付加した精度認識損失関数を用いて,幾何学的品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-08-30T13:31:15Z)
• Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
  画素レベルの画像・マルチビュー生成のための新しい手法を提案する。 従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。 本モデルにより,マルチビュー画像間の画素アライメントが向上する。
  論文  参考訳（メタデータ） (2024-08-26T04:56:41Z)
• Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
  スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。 提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。 強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
  論文  参考訳（メタデータ） (2023-08-27T11:52:00Z)
• NeuralUDF: Learning Unsigned Distance Fields for Multi-view Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
  本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。 本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T15:21:45Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。