論文の概要: 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images
- arxiv url: http://arxiv.org/abs/2303.15368v3
- Date: Tue, 16 Apr 2024 14:08:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 02:50:11.972957
- Title: 2S-UDF: A Novel Two-stage UDF Learning Method for Robust Non-watertight Model Reconstruction from Multi-view Images
- Title(参考訳): 2S-UDF:多視点画像からのロバストな非水密モデル再構成のための新しい2段階UDF学習法
- Authors: Junkai Deng, Fei Hou, Xuhui Chen, Wencheng Wang, Ying He,
- Abstract要約: 多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズム2S-UDFを提案する。
定量的な測定値と視覚的品質の両方において、この結果は他のUDF学習技術よりも優れた性能を示している。
- 参考スコア(独自算出の注目度): 12.076881343401329
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, building on the foundation of neural radiance field, various techniques have emerged to learn unsigned distance fields (UDF) to reconstruct 3D non-watertight models from multi-view images. Yet, a central challenge in UDF-based volume rendering is formulating a proper way to convert unsigned distance values into volume density, ensuring that the resulting weight function remains unbiased and sensitive to occlusions. Falling short on these requirements often results in incorrect topology or large reconstruction errors in resulting models. This paper addresses this challenge by presenting a novel two-stage algorithm, 2S-UDF, for learning a high-quality UDF from multi-view images. Initially, the method applies an easily trainable density function that, while slightly biased and transparent, aids in coarse reconstruction. The subsequent stage then refines the geometry and appearance of the object to achieve a high-quality reconstruction by directly adjusting the weight function used in volume rendering to ensure that it is unbiased and occlusion-aware. Decoupling density and weight in two stages makes our training stable and robust, distinguishing our technique from existing UDF learning approaches. Evaluations on the DeepFashion3D, DTU, and BlendedMVS datasets validate the robustness and effectiveness of our proposed approach. In both quantitative metrics and visual quality, the results indicate our superior performance over other UDF learning techniques in reconstructing 3D non-watertight models from multi-view images. Our code is available at https://bitbucket.org/jkdeng/2sudf/.
- Abstract(参考訳): 近年, ニューラル放射場の基礎として, 多視点画像から3次元非水密モデルを構築するために, 無符号距離場(UDF)を学習する様々な技術が出現している。
しかし、UDFベースのボリュームレンダリングにおける中心的な課題は、符号なし距離の値を体積密度に変換する適切な方法を定式化し、結果として生じる重み関数が偏りがなく、オクルージョンに敏感であることを保証することである。
これらの要件を満たさないと、しばしば不正確なトポロジーや、結果として生じるモデルの大規模な再構成エラーが発生する。
本稿では,多視点画像から高品質なUDFを学習するための新しい2段階アルゴリズムである2S-UDFを提案することで,この問題に対処する。
当初は、わずかに偏りがあり透明であるが、粗い復元を補助する、容易に訓練可能な密度関数を適用した。
その後のステージでは、形状や外観を洗練させ、ボリュームレンダリングで使用される重み関数を直接調整して高品質な再構成を実現する。
2段階の密度と重量の分離により、トレーニングは安定的で堅牢になり、既存のUDF学習手法と区別できる。
DeepFashion3D,DTU,BlendedMVSデータセットの評価は,提案手法の堅牢性と有効性を評価する。
その結果,多視点画像から3次元非水密モデルの再構成において,他のUDF学習手法よりも優れた性能を示した。
私たちのコードはhttps://bitbucket.org/jkdeng/2sudf/で利用可能です。
関連論文リスト
- DCUDF2: Improving Efficiency and Accuracy in Extracting Zero Level Sets from Unsigned Distance Fields [11.397415082340482]
符号なし距離場(UDF)は複雑な位相を持つモデルの表現を可能にするが、これらの場からの正確なゼロレベル集合は重大な問題を引き起こす。
我々は、UDFからゼロレベルセットを抽出するために、現在の最先端手法の強化であるDF2を紹介する。
提案手法では,自己適応重みを付加した精度認識損失関数を用いて,幾何学的品質を著しく向上させる。
論文 参考訳(メタデータ) (2024-08-30T13:31:15Z) - Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
画素レベルの画像・マルチビュー生成のための新しい手法を提案する。
従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。
本モデルにより,マルチビュー画像間の画素アライメントが向上する。
論文 参考訳(メタデータ) (2024-08-26T04:56:41Z) - FNOSeg3D: Resolution-Robust 3D Image Segmentation with Fourier Neural
Operator [4.48473804240016]
フーリエニューラル演算子(FNO)に基づく画像解像度のトレーニングに頑健な3次元セグメンテーションモデルFNOSeg3Dを導入する。
BraTS'19データセットでテストすると、モデルパラメータの1%未満の他のテストモデルよりも、画像解像度のトレーニングに優れた堅牢性を達成した。
論文 参考訳(メタデータ) (2023-10-05T19:58:36Z) - Sparse3D: Distilling Multiview-Consistent Diffusion for Object
Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。
提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。
強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文 参考訳(メタデータ) (2023-08-27T11:52:00Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-25T15:21:45Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - 3D Human Pose, Shape and Texture from Low-Resolution Images and Videos [107.36352212367179]
本稿では,解像度認識ネットワーク,自己スーパービジョン損失,コントラスト学習スキームからなるrsc-netを提案する。
提案手法は1つのモデルで異なる解像度で3次元物体のポーズと形状を学習できる。
低解像度映像を扱うRSC-Netを拡張し、低解像度入力からテクスチャ化された3D歩行者の再構築に適用します。
論文 参考訳(メタデータ) (2021-03-11T06:52:12Z) - Recurrent Multi-view Alignment Network for Unsupervised Surface
Registration [79.72086524370819]
非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。
我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。
また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
論文 参考訳(メタデータ) (2020-11-24T14:22:42Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。