論文の概要: GC-MVSNet: Multi-View, Multi-Scale, Geometrically-Consistent Multi-View Stereo

• arxiv url: http://arxiv.org/abs/2310.19583v1
• Date: Mon, 30 Oct 2023 14:41:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:57:20.477882
• Title: GC-MVSNet: Multi-View, Multi-Scale, Geometrically-Consistent Multi-View Stereo
• Title（参考訳）: gc-mvsnet:マルチビュー、マルチスケール、幾何学的一貫性のあるマルチビューステレオ
• Authors: Vibhas K. Vats, Sripad Joshi, David J. Crandall, Md. Alimoor Reza, Soon-heung Jung
• Abstract要約: 本稿では,学習中の複数のソースビューにまたがる参照ビュー深度マップの幾何的整合性を明確に促進する新しいアプローチを提案する。 この幾何整合性損失を加えることで、幾何学的に矛盾したピクセルを明示的にペナル化することで学習を著しく加速することがわかった。 実験の結果,本手法はDTUおよびBlendedMVSデータセットの新たな最先端化を実現し,Turts and Templesベンチマークの競争結果が得られた。
• 参考スコア（独自算出の注目度）: 10.732653898606253
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Traditional multi-view stereo (MVS) methods rely heavily on photometric and geometric consistency constraints, but newer machine learning-based MVS methods check geometric consistency across multiple source views only as a post-processing step. In this paper, we present a novel approach that explicitly encourages geometric consistency of reference view depth maps across multiple source views at different scales during learning (see Fig. 1). We find that adding this geometric consistency loss significantly accelerates learning by explicitly penalizing geometrically inconsistent pixels, reducing the training iteration requirements to nearly half that of other MVS methods. Our extensive experiments show that our approach achieves a new state-of-the-art on the DTU and BlendedMVS datasets, and competitive results on the Tanks and Temples benchmark. To the best of our knowledge, GC-MVSNet is the first attempt to enforce multi-view, multi-scale geometric consistency during learning.
• Abstract（参考訳）: 従来のマルチビューステレオ(MVS)手法は、測光的および幾何的整合性制約に大きく依存するが、より新しい機械学習ベースのMVS法は、後処理ステップとしてのみ複数のソースビューにまたがる幾何的整合性をチェックする。 本稿では,学習中に異なるスケールで複数のソースビューにまたがる参照ビュー深度マップの幾何学的一貫性を明示的に奨励する新しいアプローチを提案する(図1参照)。 この幾何整合性損失を加えることで、幾何的不整合画素を明示的にペナル化することで学習を著しく加速し、訓練の繰り返し要求を他のMVS手法のほぼ半分に削減する。 広範な実験により,dtu と blendedmvs データセットにおける新たな最先端技術と,タンク・テンプルベンチマークの競合結果が得られた。 我々の知る限り、GC-MVSNetは学習中にマルチビュー、マルチスケールの幾何的一貫性を強制する最初の試みである。

関連論文リスト

• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• Towards Geometric-Photometric Joint Alignment for Facial Mesh Registration [3.588864037082647]
  本稿では,幾何情報と測光情報を組み合わせることで,人間の表情を正確に整列する幾何学的・測光的関節アライメント法を提案する。 実験結果は,従来のICPに基づく手法と最先端のディープラーニングに基づく手法を超越した,様々な表現の下で忠実なアライメントを示す。 本手法は,多視点ステレオ顔スキャンからトポロジに一貫性のある顔モデルを得る効率を高める。
  論文  参考訳（メタデータ） (2024-03-05T03:39:23Z)
• MP-MVS: Multi-Scale Windows PatchMatch and Planar Prior Multi-View Stereo [7.130834755320434]
  レジリエントで効果的なマルチビューステレオアプローチ(MP-MVS)を提案する。 マルチスケールウィンドウPatchMatch (mPM) を設計し, 信頼性の高い非テクスチャ領域の深さを求める。 他のマルチスケールアプローチとは対照的に、より高速で、PatchMatchベースのMVSアプローチに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-09-23T07:30:42Z)
• MVTN: Learning Multi-View Transformations for 3D Understanding [60.15214023270087]
  本稿では,3次元形状認識のための最適視点を決定するために,可変レンダリングを用いたマルチビュー変換ネットワーク(MVTN)を提案する。 MVTNは3次元形状認識のためのマルチビューネットワークでエンドツーエンドに訓練することができる。 提案手法は,複数のベンチマークによる3次元分類と形状検索における最先端性能を示す。
  論文  参考訳（メタデータ） (2022-12-27T12:09:16Z)
• RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering [16.679446000660654]
  本稿では、ビュー間の対応のあいまいさを解決するために、ニューラルネットワーク(RC-MVSNet)を用いた新しい手法を提案する。 具体的には、物体表面に近い幾何学的特徴を制約するために、深度レンダリング整合性損失を課す。 また、非ランベルト曲面に対しても一貫した監督を生成するために参照ビュー損失を導入する。
  論文  参考訳（メタデータ） (2022-03-08T09:24:05Z)
• PatchMVSNet: Patch-wise Unsupervised Multi-View Stereo for Weakly-Textured Surface Reconstruction [2.9896482273918434]
  本稿では,多視点画像の制約を活かしたロバストな損失関数を提案し,あいまいさを緩和する。 我々の戦略は任意の深さ推定フレームワークで実装することができ、任意の大規模MVSデータセットでトレーニングすることができる。 提案手法は,DTU,タンク・アンド・テンプル,ETH3Dなどの一般的なベンチマーク上での最先端手法の性能に達する。
  論文  参考訳（メタデータ） (2022-03-04T07:05:23Z)
• Isometric Multi-Shape Matching [50.86135294068138]
  形状間の対応を見つけることは、コンピュータビジョンとグラフィックスの基本的な問題である。 アイソメトリーは形状対応問題においてしばしば研究されるが、マルチマッチング環境では明確には考慮されていない。 定式化を解くのに適した最適化アルゴリズムを提案し,コンバージェンスと複雑性解析を提供する。
  論文  参考訳（メタデータ） (2020-12-04T15:58:34Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)
• Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking [54.58791377183574]
  1)DRENet(Dense Reception Expanded)モジュールで,原サイズの密集した特徴マップをマルチスケールのコンテキスト情報で抽出し,2)HU-LSTM(Hybrid U-LSTM)を用いて3次元マッチングボリュームを予測深度マップに変換する。 R-MVSNetのメモリ消費は19.4%しかかからないが,本手法は最先端の手法と競合する性能を示し,メモリ消費を劇的に削減する。
  論文  参考訳（メタデータ） (2020-07-21T14:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。