論文の概要: MRIo3DS-Net: A Mutually Reinforcing Images to 3D Surface RNN-like framework for model-adaptation indoor 3D reconstruction
- arxiv url: http://arxiv.org/abs/2407.11431v1
- Date: Tue, 16 Jul 2024 06:46:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 16:22:29.726095
- Title: MRIo3DS-Net: A Mutually Reinforcing Images to 3D Surface RNN-like framework for model-adaptation indoor 3D reconstruction
- Title（参考訳）: MRIo3DS-Net: モデル適応屋内3次元再構成のための3次元表面RNNライクなフレームワークへの画像の相互強化
- Authors: Chang Li, Jiao Guo, Yufei Zhao, Yongjun Zhang,
- Abstract要約: 本稿では,モデル適応型屋内3次元再構成のための3次元表面リカレントニューラルネットワークに画像を相互に補強するエンドツーエンドフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 6.763241608372683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper is the first to propose an end-to-end framework of mutually reinforcing images to 3D surface recurrent neural network-like for model-adaptation indoor 3D reconstruction,where multi-view dense matching and point cloud surface optimization are mutually reinforced by a RNN-like structure rather than being treated as a separate issue.The characteristics are as follows:In the multi-view dense matching module, the model-adaptation strategy is used to fine-tune and optimize a Transformer-based multi-view dense matching DNN,so that it has the higher image feature for matching and detail expression capabilities;In the point cloud surface optimization module,the 3D surface reconstruction network based on 3D implicit field is optimized by using model-adaptation strategy,which solves the problem of point cloud surface optimization without knowing normal vector of 3D surface.To improve and finely reconstruct 3D surfaces from point cloud,smooth loss is proposed and added to this module;The MRIo3DS-Net is a RNN-like framework,which utilizes the finely optimized 3D surface obtained by PCSOM to recursively reinforce the differentiable warping for optimizing MVDMM.This refinement leads to achieving better dense matching results, and better dense matching results leads to achieving better 3D surface results recursively and mutually.Hence, model-adaptation strategy can better collaborate the differences between the two network modules,so that they complement each other to achieve the better effect;To accelerate the transfer learning and training convergence from source domain to target domain,a multi-task loss function based on Bayesian uncertainty is used to adaptively adjust the weights between the two networks loss functions of MVDMM and PCSOM;In this multi-task cascade network framework,any modules can be replaced by any state-of-the-art networks to achieve better 3D reconstruction results.
- Abstract（参考訳）: 本稿では, モデル適応型屋内3次元再構成のための3次元面再帰型ニューラルネットワークに画像を相互に補強するエンドツーエンドのフレームワークを提案する。マルチビュー密集型マッチングモジュールでは, 多視点密集型マッチングモジュールを用いて, トランスフォーマーベースのマルチビュー密集型マッチングDNNを微調整・最適化し, マッチングと詳細化のために高い画像特徴を有するようにし, ポイントクラウド表面最適化モジュールでは, 3次元面再帰型ニューラルネットワークをモデル適応型戦略を用いて最適化し, 3次元面再帰型ニューラルネットワークを最適化し, 3次元面再帰型ニューラルネットワークを最適化する。
関連論文リスト
- Correspondence-Guided SfM-Free 3D Gaussian Splatting for NVS [52.3215552448623]
SfM(Structure-from-Motion)事前処理カメラのポーズのない新しいビュー合成(NVS)は、迅速な応答能力の向上と、可変動作条件に対する堅牢性の向上に不可欠である。
最近のSfMフリー手法は、ポーズ最適化を統合し、共同カメラのポーズ推定とNVSのためのエンドツーエンドフレームワークを設計している。
既存の作業の多くは、L2損失のようなピクセル単位の画像損失関数に依存している。
本研究では,NVSのためのSfMフリー3次元ガウススプラッティングを提案する。
論文 参考訳（メタデータ） (2024-08-16T13:11:22Z) - Neural Mesh Fusion: Unsupervised 3D Planar Surface Understanding [45.33209870505472]
ニューラルメッシュ融合(Neural Mesh Fusion, NMF)は、多視点画像観測によるポリゴンメッシュの共同最適化のための効率的な手法である。
NMFは暗黙のニューラルネットワークに基づくシーン再構成手法に比べて計算効率がかなり良い。
論文 参考訳（メタデータ） (2024-02-26T17:02:30Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - Dynamic Voxel Grid Optimization for High-Fidelity RGB-D Supervised
Surface Reconstruction [130.84162691963536]
高忠実度3次元表面再構成のための新しい動的グリッド最適化手法を提案する。
グリッドを動的に修正し、より複雑な領域により微細なボクセルを割り当てることで、プロセスを最適化する。
提案手法は, 合成データと実世界のデータの両方を詳細に記述した高品質な3D再構成を実現する。
論文 参考訳（メタデータ） (2023-04-12T22:39:57Z) - 3D Dense Face Alignment with Fused Features by Aggregating CNNs and GCNs [28.7443367565456]
これは、標準畳み込みニューラルネットワーク(CNN)とグラフ畳み込みネットワーク(GCN)をシームレスに結合することで達成される。
CNNとGCNの異なる層やステージにまたがる特徴を反復的に融合させることで,我々のアプローチは高密度な顔アライメントと3次元顔再構成を同時に実現することができる。
いくつかの挑戦的なデータセットの実験により、我々の手法は2次元および3次元の顔アライメントタスクにおける最先端のアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-03-09T11:07:10Z) - Multi-initialization Optimization Network for Accurate 3D Human Pose and
Shape Estimation [75.44912541912252]
我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。
第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。
第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。
最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
論文 参考訳（メタデータ） (2021-12-24T02:43:58Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳（メタデータ） (2021-12-14T13:14:24Z) - Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive
Imaging [6.289143409131908]
スナップショットイメージング(SCI)は、二次元カメラを介して3次元信号を記録することを目的としている。
SCI に先立って 3D-CNN を付加した新しい深層展開ネットワーク (DUN) を提案する。
ネットワーク適応を促進するために,高密度特徴写像圧縮 (DFMA) モジュールを提案する。
論文 参考訳（メタデータ） (2021-09-14T09:42:42Z) - AA-RMVSNet: Adaptive Aggregation Recurrent Multi-view Stereo Network [8.127449025802436]
本稿では,AA-RMVSNetというアダプティブアグリゲーションを備えた長短期記憶(LSTM)に基づく,新しいマルチビューステレオネットワークを提案する。
まず、コンテキスト認識の畳み込みとマルチスケールアグリゲーションを用いて、画像の特徴を適応的に抽出するビュー内アグリゲーションモジュールを提案する。
本稿では,すべてのビューにおいて,より整合性のあるペアを保存可能な,適応的なピクセルワイドビューアグリゲーションのためのビュー間コストボリュームアグリゲーションモジュールを提案する。
論文 参考訳（メタデータ） (2021-08-09T06:10:48Z) - Deep Active Surface Models [60.027353171412216]
アクティブサーフェスモデルは複雑な3次元表面をモデル化するのに有用な長い歴史を持っているが、ディープネットワークと組み合わせて使用されるのはアクティブ・コンターのみである。
グラフ畳み込みネットワークにシームレスに統合して、洗練された滑らかさを強制できるレイヤを導入します。
論文 参考訳（メタデータ） (2020-11-17T18:48:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。