論文の概要: InfoNorm: Mutual Information Shaping of Normals for Sparse-View Reconstruction
- arxiv url: http://arxiv.org/abs/2407.12661v1
- Date: Wed, 17 Jul 2024 15:46:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 16:35:48.578716
- Title: InfoNorm: Mutual Information Shaping of Normals for Sparse-View Reconstruction
- Title（参考訳）: InfoNorm: スパースビュー再構築のための正常者の相互情報形成
- Authors: Xulong Wang, Siyan Dong, Youyi Zheng, Yanchao Yang,
- Abstract要約: 多視点画像からの3次元表面再構成はシーン理解とインタラクションに不可欠である。
ニューラルレージアンス場(NeRF)や符号付き距離関数(SDF)といった近年の暗黙的な表面表現は、観測情報の欠如を解決するために様々な幾何学的先行法を用いている。
本稿では,高度に相関したシーンポイントの表面正規化における相互情報を明確に促進することにより,幾何学的モデリングの正規化を提案する。
- 参考スコア（独自算出の注目度）: 15.900375207144759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D surface reconstruction from multi-view images is essential for scene understanding and interaction. However, complex indoor scenes pose challenges such as ambiguity due to limited observations. Recent implicit surface representations, such as Neural Radiance Fields (NeRFs) and signed distance functions (SDFs), employ various geometric priors to resolve the lack of observed information. Nevertheless, their performance heavily depends on the quality of the pre-trained geometry estimation models. To ease such dependence, we propose regularizing the geometric modeling by explicitly encouraging the mutual information among surface normals of highly correlated scene points. In this way, the geometry learning process is modulated by the second-order correlations from noisy (first-order) geometric priors, thus eliminating the bias due to poor generalization. Additionally, we introduce a simple yet effective scheme that utilizes semantic and geometric features to identify correlated points, enhancing their mutual information accordingly. The proposed technique can serve as a plugin for SDF-based neural surface representations. Our experiments demonstrate the effectiveness of the proposed in improving the surface reconstruction quality of major states of the arts. Our code is available at: \url{https://github.com/Muliphein/InfoNorm}.
- Abstract（参考訳）: 多視点画像からの3次元表面再構成はシーン理解とインタラクションに不可欠である。
しかし、複雑な屋内シーンは、観測が限られているためあいまいさなどの問題を引き起こす。
ニューラルレージアンス場(NeRF)や符号付き距離関数(SDF)といった近年の暗黙的な表面表現は、観測情報の欠如を解決するために様々な幾何学的先行法を用いている。
それにもかかわらず、それらの性能は事前訓練された幾何推定モデルの品質に大きく依存する。
このような依存を緩和するために,高度に相関したシーンポイントの表面の正常値間の相互情報を明示的に促すことにより,幾何学的モデリングの規則化を提案する。
このように、幾何学習過程は、ノイズ(一階)幾何先行からの2階相関によって変調されるので、一般化不良によるバイアスを排除できる。
さらに,意味的特徴と幾何学的特徴を利用して相関点を識別し,それらの相互情報を向上する簡易かつ効果的なスキームを提案する。
提案手法は、SDFベースのニューラルサーフェス表現のためのプラグインとして機能する。
本実験は, 主要芸術国家の表面改質性向上における提案手法の有効性を実証するものである。
我々のコードは以下の通りである。
関連論文リスト
- Flatten Anything: Unsupervised Neural Surface Parameterization [76.4422287292541]
本研究では,FAM(Flatten Anything Model)を導入し,グローバルな自由境界面パラメータ化を実現する。
従来の手法と比較して,FAMは接続情報を活用することなく,個別の面上で直接動作する。
当社のFAMは前処理を必要とせずに完全に自動化されており,高度に複雑なトポロジを扱うことができる。
論文 参考訳（メタデータ） (2024-05-23T14:39:52Z) - GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。
拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。
本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文 参考訳（メタデータ） (2024-03-18T17:50:41Z) - Adaptive Surface Normal Constraint for Geometric Estimation from Monocular Images [56.86175251327466]
本稿では,幾何学的文脈を取り入れつつ,画像から深度や表面正規度などの測地を学習するための新しい手法を提案する。
提案手法は,入力画像に存在する幾何学的変動を符号化した幾何学的文脈を抽出し,幾何的制約と深度推定を相関付ける。
本手法は,画像から高品質な3次元形状を生成可能な密着型フレームワーク内での深度と表面の正規分布推定を統一する。
論文 参考訳（メタデータ） (2024-02-08T17:57:59Z) - NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse
Input Views [41.03837477483364]
本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。
具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。
DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
論文 参考訳（メタデータ） (2023-12-21T16:04:45Z) - Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid
Representation and Normal Prior Enhancement [53.10080345190996]
多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。
近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。
本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
論文 参考訳（メタデータ） (2023-09-14T12:05:29Z) - Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。
我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。
本手法は,高精度な表面を細部で再構成し,その性能を向上する。
論文 参考訳（メタデータ） (2022-11-21T10:06:09Z) - Geo-Neus: Geometry-Consistent Neural Implicit Surfaces Learning for
Multi-view Reconstruction [41.43563122590449]
多視点再構成のための幾何一貫性のあるニューラルサーフェス学習を提案する。
提案手法は, 複雑な薄板構造と大きな平滑領域の両方において, 高品質な表面再構成を実現する。
論文 参考訳（メタデータ） (2022-05-31T14:52:07Z) - Learning Signed Distance Field for Multi-view Surface Reconstruction [24.090786783370195]
ステレオマッチングと特徴整合性の知識を生かした新しいニューラルネットワーク表面再構成フレームワークを提案する。
サインされた距離場(SDF)と表面光場(SDF)をそれぞれ、シーン形状と外観を表すために適用する。
本手法は,地形推定のロバスト性を向上し,複雑なシーントポロジの再構築を支援する。
論文 参考訳（メタデータ） (2021-08-23T06:23:50Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction [27.66008315400462]
表面形状を暗黙的に表現する最近の学習手法は、多視点3次元再構成の問題において顕著な結果を示している。
我々はこれらの制限を,数発のフル3次元頭部再構成の特定の問題に対処する。
暗黙の表現を用いて,数千個の不完全な生スキャンから3次元頭部形状モデルを学習する。
論文 参考訳（メタデータ） (2021-07-26T23:04:18Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳（メタデータ） (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。