論文の概要: CVRecon: Rethinking 3D Geometric Feature Learning For Neural
Reconstruction
- arxiv url: http://arxiv.org/abs/2304.14633v3
- Date: Thu, 14 Sep 2023 22:15:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 18:27:19.452166
- Title: CVRecon: Rethinking 3D Geometric Feature Learning For Neural
Reconstruction
- Title(参考訳): CVRecon:ニューラルコンストラクションのための3D幾何学的特徴学習を再考
- Authors: Ziyue Feng, Liang Yang, Pengsheng Guo, Bing Li
- Abstract要約: 本稿では,エンドツーエンドの3Dニューラル再構成フレームワークCVReconを提案する。
コストボリュームにリッチな幾何学的埋め込みを利用して、3次元の幾何学的特徴学習を容易にする。
- 参考スコア(独自算出の注目度): 12.53249207602695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural reconstruction using posed image sequences have
made remarkable progress. However, due to the lack of depth information,
existing volumetric-based techniques simply duplicate 2D image features of the
object surface along the entire camera ray. We contend this duplication
introduces noise in empty and occluded spaces, posing challenges for producing
high-quality 3D geometry. Drawing inspiration from traditional multi-view
stereo methods, we propose an end-to-end 3D neural reconstruction framework
CVRecon, designed to exploit the rich geometric embedding in the cost volumes
to facilitate 3D geometric feature learning. Furthermore, we present
Ray-contextual Compensated Cost Volume (RCCV), a novel 3D geometric feature
representation that encodes view-dependent information with improved integrity
and robustness. Through comprehensive experiments, we demonstrate that our
approach significantly improves the reconstruction quality in various metrics
and recovers clear fine details of the 3D geometries. Our extensive ablation
studies provide insights into the development of effective 3D geometric feature
learning schemes. Project page: https://cvrecon.ziyue.cool/
- Abstract(参考訳): 近年,ポーズ画像を用いた神経再建の進歩が目覚ましい進歩を遂げている。
しかし、深度情報がないため、既存のボリュームベース技術は、カメラ線全体に沿った物体表面の2次元画像特徴を単純に複製する。
この重複は空空間と閉空間にノイズをもたらし、高品質な3d幾何学を生み出す上での課題となる。
従来の多視点ステレオ手法からインスピレーションを得て,コストボリュームにリッチな幾何学的埋め込みを生かし,幾何学的特徴学習を容易にするために,エンドツーエンドの3次元ニューラルネットワーク再構成フレームワークCVReconを提案する。
さらに,ビュー依存情報をエンコードする新たな3次元幾何学的特徴表現であるrccv(ray-contextual compensationd cost volume)を提案する。
総合的な実験により, 様々な測定値の復元品質が大幅に向上し, 3次元ジオメトリの明瞭な詳細を回復できることを実証した。
我々の広範なアブレーション研究は、効果的な3次元幾何学的特徴学習スキームの開発に関する洞察を提供する。
プロジェクトページ: https://cvrecon.ziyue.cool/
関連論文リスト
- 3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface [8.824340350342512]
3DFIRESは、ポーズ画像からシーンレベルの3D再構成を行う新しいシステムである。
単一視点再構成法の有効性を1つの入力で示す。
論文 参考訳(メタデータ) (2024-03-13T17:59:50Z) - 3D Face Reconstruction Using A Spectral-Based Graph Convolution Encoder [3.9729302621559186]
本稿では,既存の2次元機能と3次元機能を統合し,モデル学習プロセスを導く革新的なアプローチを提案する。
我々のモデルはデータセットの組み合わせから2D-3Dデータペアを用いて訓練され、NoWベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-03-08T11:09:46Z) - What You See is What You GAN: Rendering Every Pixel for High-Fidelity
Geometry in 3D GANs [82.3936309001633]
3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。
しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。
ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
論文 参考訳(メタデータ) (2024-01-04T18:50:38Z) - 3 Dimensional Dense Reconstruction: A Review of Algorithms and Dataset [19.7595986056387]
3D高密度再構成は、2次元平面画像から3次元物体の完全な形状とテクスチャ特性を得る過程を指す。
この研究は幾何学的および光学的モデルに基づく3次元高密度再構成の古典的手法を体系的に導入する。
さらに、ディープラーニングのためのデータセットや、これらのデータセット上でディープラーニングメソッドが示すパフォーマンスとメリット、デメリットも導入されている。
論文 参考訳(メタデータ) (2023-04-19T01:56:55Z) - A Review of Deep Learning-Powered Mesh Reconstruction Methods [8.244104560094721]
ディープラーニングにより、様々なソースから高品質な3D形状の再構築が可能になった。
一般的な3Dアプリケーションで使用するには、再構成された形状を多角形メッシュとして表現する必要がある。
論文 参考訳(メタデータ) (2023-03-06T04:14:04Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with
Geometric Priors [41.228064348608264]
本稿では,モノクロ映像からの高忠実度オンライン3次元シーン再構築のためのボリュームレンダリングを備えたニューラル暗黙シーン表現を提案する。
きめ細かい再現のために、我々の重要な洞察は、幾何的先行をニューラル暗黙のシーン表現とニューラルボリュームレンダリングの両方に組み込むことである。
MonoNeuralFusionは、量的にも質的にも、ずっと優れた完全かつきめ細かい再構築結果を生成する。
論文 参考訳(メタデータ) (2022-09-30T00:44:26Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳(メタデータ) (2020-08-18T06:33:40Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳(メタデータ) (2020-03-03T11:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。