論文の概要: RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering
- arxiv url: http://arxiv.org/abs/2203.03949v1
- Date: Tue, 8 Mar 2022 09:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 14:57:54.917190
- Title: RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering
- Title(参考訳): RC-MVSNet:ニューラルレンダリングによる教師なしマルチビューステレオ
- Authors: Di Chang, Alja\v{z} Bo\v{z}i\v{c}, Tong Zhang, Qingsong Yan, Yingcong
Chen, Sabine S\"usstrunk, Matthias Nie{\ss}ner
- Abstract要約: 本稿では、ビュー間の対応のあいまいさを解決するために、ニューラルネットワーク(RC-MVSNet)を用いた新しい手法を提案する。
具体的には、物体表面に近い幾何学的特徴を制約するために、深度レンダリング整合性損失を課す。
また、非ランベルト曲面に対しても一貫した監督を生成するために参照ビュー損失を導入する。
- 参考スコア(独自算出の注目度): 16.679446000660654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding accurate correspondences among different views is the Achilles' heel
of unsupervised Multi-View Stereo (MVS). Existing methods are built upon the
assumption that corresponding pixels share similar photometric features.
However, multi-view images in real scenarios observe non-Lambertian surfaces
and experience occlusions. In this work, we propose a novel approach with
neural rendering (RC-MVSNet) to solve such ambiguity issues of correspondences
among views. Specifically, we impose a depth rendering consistency loss to
constrain the geometry features close to the object surface to alleviate
occlusions. Concurrently, we introduce a reference view synthesis loss to
generate consistent supervision, even for non-Lambertian surfaces. Extensive
experiments on DTU and Tanks\&Temples benchmarks demonstrate that our RC-MVSNet
approach achieves state-of-the-art performance over unsupervised MVS frameworks
and competitive performance to many supervised methods.The trained models and
code will be released at https://github.com/Boese0601/RC-MVSNet.
- Abstract(参考訳): 異なるビュー間で正確な対応を見つけることは、教師なしマルチビューステレオ(MVS)のアキレスのヒールである。
既存の方法は、対応するピクセルが同様の測光機能を持つという仮定に基づいている。
しかし、現実のシナリオにおけるマルチビュー画像は非ランベルト曲面を観察し、オクルージョンを経験する。
本研究では、ビュー間の対応のあいまいさを解決するために、ニューラルネットワーク(RC-MVSNet)を用いた新しいアプローチを提案する。
具体的には,物体表面近傍の幾何学的特徴を制約して咬合を緩和するために,奥行きレンダリングの一貫性損失を課す。
同時に、非ランベルト面においても一貫した監督を生成するために参照ビュー合成損失を導入する。
dtu と tanks\& temples のベンチマークに関する広範な実験により、我々の rc-mvsnet のアプローチは、教師なしmvs フレームワークよりも最先端のパフォーマンスを達成し、多くの教師付きメソッドと競合するパフォーマンスを実現していることが示された。
関連論文リスト
- GC-MVSNet: Multi-View, Multi-Scale, Geometrically-Consistent Multi-View
Stereo [10.732653898606253]
本稿では,学習中の複数のソースビューにまたがる参照ビュー深度マップの幾何的整合性を明確に促進する新しいアプローチを提案する。
この幾何整合性損失を加えることで、幾何学的に矛盾したピクセルを明示的にペナル化することで学習を著しく加速することがわかった。
実験の結果,本手法はDTUおよびBlendedMVSデータセットの新たな最先端化を実現し,Turts and Templesベンチマークの競争結果が得られた。
論文 参考訳(メタデータ) (2023-10-30T14:41:53Z) - S-VolSDF: Sparse Multi-View Stereo Regularization of Neural Implicit
Surfaces [75.30792581941789]
暗黙の面のニューラルレンダリングは、3次元視覚アプリケーションでうまく機能する。
スパース入力画像のみが利用可能となると、形状と輝度のあいまいさの問題により出力品質が著しく低下する。
MVSソリューションを用いてニューラルレンダリング最適化の正規化を提案する。
論文 参考訳(メタデータ) (2023-03-30T21:10:58Z) - VS-Net: Multiscale Spatiotemporal Features for Lightweight Video Salient
Document Detection [0.2578242050187029]
拡張深度分割可能な畳み込みと近似ランクプーリングの助けを借りて,マルチスケールの時間情報をキャプチャするVS-Netを提案する。
本モデルでは,背景と前景の両方を考慮したサリエンシマップを作成した。
MIDV-500データセットで規制された膨大な実験は、VS-Netモデルが時間と堅牢性の両方で最先端のアプローチより優れていることを示している。
論文 参考訳(メタデータ) (2023-01-11T13:07:31Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-28T02:12:30Z) - PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for
Weakly-Textured Surface Reconstruction [2.9896482273918434]
本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。
我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。
提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
論文 参考訳(メタデータ) (2022-03-04T07:05:23Z) - TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view
Stereo [55.30992853477754]
本稿では,リアルタイムな単分子追跡と高密度フレームワークであるTANDEMを紹介する。
ポーズ推定のために、TANDEMはアライメントのスライディングウィンドウに基づいて光度バンドル調整を行う。
TANDEMは最先端のリアルタイム3D再構成性能を示す。
論文 参考訳(メタデータ) (2021-11-14T19:01:02Z) - Weak Multi-View Supervision for Surface Mapping Estimation [0.9367260794056769]
密接なアノテーションを使わずにカテゴリ別表面マッピングを学習する,弱監督型マルチビュー学習手法を提案する。
人間の顔、車、飛行機といった一般的なカテゴリの基盤となる表面形状を、それらのカテゴリの例から学習する。
論文 参考訳(メタデータ) (2021-05-04T09:46:26Z) - Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。
エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。
当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
論文 参考訳(メタデータ) (2021-03-29T08:11:25Z) - SurfaceNet+: An End-to-end 3D Neural Network for Very Sparse Multi-view
Stereopsis [52.35697180864202]
マルチビューステレオプシス(MVS)は2次元画像から3次元モデルを復元しようとする。
本研究では,スペーサー感覚がより実用的でコスト効率が高いため,ベースライン角度が大きいスパースMVSについて検討する。
非常にスパースなMVSセットアップによって生じる「不完全性」と「不正確性」問題を扱うためのボリューム手法であるSurfaceNet+を提案する。
論文 参考訳(メタデータ) (2020-05-26T13:13:02Z) - Novel View Synthesis of Dynamic Scenes with Globally Coherent Depths
from a Monocular Camera [93.04135520894631]
本稿では,動的シーンの画像のコレクションを与えられた任意のビューや時間から画像を合成する新しい手法を提案する。
新しいビュー合成の鍵となる課題は、エピポーラ幾何学が動的コンテンツの局所的な動きに適用できない動的なシーン再構成から生じる。
この課題に対処するために、DSVが完成しているマルチビューステレオ(DMV)からの深度と深度を組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-04-02T22:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。