論文の概要: RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering

• arxiv url: http://arxiv.org/abs/2203.03949v1
• Date: Tue, 8 Mar 2022 09:24:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 14:57:54.917190
• Title: RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering
• Title（参考訳）: RC-MVSNet:ニューラルレンダリングによる教師なしマルチビューステレオ
• Authors: Di Chang, Alja\v{z} Bo\v{z}i\v{c}, Tong Zhang, Qingsong Yan, Yingcong Chen, Sabine S\"usstrunk, Matthias Nie{\ss}ner
• Abstract要約: 本稿では、ビュー間の対応のあいまいさを解決するために、ニューラルネットワーク(RC-MVSNet)を用いた新しい手法を提案する。 具体的には、物体表面に近い幾何学的特徴を制約するために、深度レンダリング整合性損失を課す。 また、非ランベルト曲面に対しても一貫した監督を生成するために参照ビュー損失を導入する。
• 参考スコア（独自算出の注目度）: 16.679446000660654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding accurate correspondences among different views is the Achilles' heel of unsupervised Multi-View Stereo (MVS). Existing methods are built upon the assumption that corresponding pixels share similar photometric features. However, multi-view images in real scenarios observe non-Lambertian surfaces and experience occlusions. In this work, we propose a novel approach with neural rendering (RC-MVSNet) to solve such ambiguity issues of correspondences among views. Specifically, we impose a depth rendering consistency loss to constrain the geometry features close to the object surface to alleviate occlusions. Concurrently, we introduce a reference view synthesis loss to generate consistent supervision, even for non-Lambertian surfaces. Extensive experiments on DTU and Tanks\&Temples benchmarks demonstrate that our RC-MVSNet approach achieves state-of-the-art performance over unsupervised MVS frameworks and competitive performance to many supervised methods.The trained models and code will be released at https://github.com/Boese0601/RC-MVSNet.
• Abstract（参考訳）: 異なるビュー間で正確な対応を見つけることは、教師なしマルチビューステレオ(MVS)のアキレスのヒールである。 既存の方法は、対応するピクセルが同様の測光機能を持つという仮定に基づいている。 しかし、現実のシナリオにおけるマルチビュー画像は非ランベルト曲面を観察し、オクルージョンを経験する。 本研究では、ビュー間の対応のあいまいさを解決するために、ニューラルネットワーク(RC-MVSNet)を用いた新しいアプローチを提案する。 具体的には,物体表面近傍の幾何学的特徴を制約して咬合を緩和するために,奥行きレンダリングの一貫性損失を課す。 同時に、非ランベルト面においても一貫した監督を生成するために参照ビュー合成損失を導入する。 dtu と tanks\& temples のベンチマークに関する広範な実験により、我々の rc-mvsnet のアプローチは、教師なしmvs フレームワークよりも最先端のパフォーマンスを達成し、多くの教師付きメソッドと競合するパフォーマンスを実現していることが示された。

関連論文リスト

• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• GenS: Generalizable Neural Surface Reconstruction from Multi-View Images [20.184657468900852]
  GenSは、エンドツーエンドの一般化可能なニューラルサーフェス再構成モデルである。 我々の表現はより強力であり、グローバルな滑らかさを維持しながら高周波の詳細を回復することができる。 人気のあるベンチマーク実験により、我々のモデルは新たなシーンにうまく一般化できることが示された。
  論文  参考訳（メタデータ） (2024-06-04T17:13:10Z)
• S-VolSDF: Sparse Multi-View Stereo Regularization of Neural Implicit Surfaces [75.30792581941789]
  暗黙の面のニューラルレンダリングは、3次元視覚アプリケーションでうまく機能する。 スパース入力画像のみが利用可能となると、形状と輝度のあいまいさの問題により出力品質が著しく低下する。 MVSソリューションを用いてニューラルレンダリング最適化の正規化を提案する。
  論文  参考訳（メタデータ） (2023-03-30T21:10:58Z)
• VS-Net: Multiscale Spatiotemporal Features for Lightweight Video Salient Document Detection [0.2578242050187029]
  拡張深度分割可能な畳み込みと近似ランクプーリングの助けを借りて,マルチスケールの時間情報をキャプチャするVS-Netを提案する。 本モデルでは,背景と前景の両方を考慮したサリエンシマップを作成した。 MIDV-500データセットで規制された膨大な実験は、VS-Netモデルが時間と堅牢性の両方で最先端のアプローチより優れていることを示している。
  論文  参考訳（メタデータ） (2023-01-11T13:07:31Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for Weakly-Textured Surface Reconstruction [2.9896482273918434]
  本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。 我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。 提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
  論文  参考訳（メタデータ） (2022-03-04T07:05:23Z)
• TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo [55.30992853477754]
  本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。 ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。 TANDEMは最先端のリアルタイム3D再構成性能を示す。
  論文  参考訳（メタデータ） (2021-11-14T19:01:02Z)
• Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
  従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
  論文  参考訳（メタデータ） (2021-03-29T08:11:25Z)
• SurfaceNet+: An End-to-end 3D Neural Network for Very Sparse Multi-view Stereopsis [52.35697180864202]
  マルチビューステレオプシス(MVS)は2次元画像から3次元モデルを復元しようとする。 本研究では,スペーサー感覚がより実用的でコスト効率が高いため,ベースライン角度が大きいスパースMVSについて検討する。 非常にスパースなMVSセットアップによって生じる「不完全性」と「不正確性」問題を扱うためのボリューム手法であるSurfaceNet+を提案する。
  論文  参考訳（メタデータ） (2020-05-26T13:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。