論文の概要: Towards the Probabilistic Fusion of Learned Priors into Standard Pipelines for 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2207.13464v1
• Date: Wed, 27 Jul 2022 11:28:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:59:19.766731
• Title: Towards the Probabilistic Fusion of Learned Priors into Standard Pipelines for 3D Reconstruction
• Title（参考訳）: 3次元再構築のための標準パイプラインへの学習事前の確率的融合に向けて
• Authors: Tristan Laidlow, Jan Czarnowski, Andrea Nicastro, Ronald Clark, Stefan Leutenegger
• Abstract要約: 我々はディープニューラルネットワークを訓練し、個々のピクセルの深さの離散的非パラメトリックな確率分布を1つの画像から予測する。 次に、この「確率容積」を、その後のフレームと画像との間の光度整合性に基づいて、別の確率体積と融合する。
• 参考スコア（独自算出の注目度）: 31.55322925389011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The best way to combine the results of deep learning with standard 3D reconstruction pipelines remains an open problem. While systems that pass the output of traditional multi-view stereo approaches to a network for regularisation or refinement currently seem to get the best results, it may be preferable to treat deep neural networks as separate components whose results can be probabilistically fused into geometry-based systems. Unfortunately, the error models required to do this type of fusion are not well understood, with many different approaches being put forward. Recently, a few systems have achieved good results by having their networks predict probability distributions rather than single values. We propose using this approach to fuse a learned single-view depth prior into a standard 3D reconstruction system. Our system is capable of incrementally producing dense depth maps for a set of keyframes. We train a deep neural network to predict discrete, nonparametric probability distributions for the depth of each pixel from a single image. We then fuse this "probability volume" with another probability volume based on the photometric consistency between subsequent frames and the keyframe image. We argue that combining the probability volumes from these two sources will result in a volume that is better conditioned. To extract depth maps from the volume, we minimise a cost function that includes a regularisation term based on network predicted surface normals and occlusion boundaries. Through a series of experiments, we demonstrate that each of these components improves the overall performance of the system.
• Abstract（参考訳）: ディープラーニングの結果と標準的な3dリコンストラクションパイプラインを組み合わせる最良の方法は、まだ未解決の問題である。 従来のマルチビューステレオアプローチの出力を正規化や洗練のためにネットワークに渡すシステムは、現在、最良の結果が得られるように見えるが、深層ニューラルネットワークを、確率的に幾何学ベースのシステムに融合できる独立したコンポーネントとして扱うことが好ましい。 残念ながら、この種の融合に必要なエラーモデルはよく理解されておらず、多くの異なるアプローチが進められている。 近年,ネットワークが単一値ではなく確率分布を予測することで,良好な結果が得られたシステムもいくつかある。 本稿では,学習した単一視点深度を標準的な3次元再構成システムに融合させる手法を提案する。 本システムでは,キーフレームの集合に対する深度マップを漸進的に作成することができる。 ディープニューラルネットワークを訓練し,1つの画像から各画素の深さに対する離散的,非パラメトリックな確率分布を予測する。 次に、後続フレームとキーフレーム画像との測光一貫性に基づいて、この「確率ボリューム」を別の確率ボリュームと融合する。 これら2つの情報源から得られる確率体積を組み合わせると、より条件が良くなる。 ボリュームから深度マップを抽出するために,ネットワーク予測表面正規化と閉塞境界に基づく正規化項を含むコスト関数を最小化する。 一連の実験を通じて,各コンポーネントがシステム全体のパフォーマンスを向上させることを実証した。

関連論文リスト

• Double-Shot 3D Shape Measurement with a Dual-Branch Network [14.749887303860717]
  我々は、異なる構造光(SL)変調を処理するために、デュアルブランチ畳み込みニューラルネットワーク(CNN)-トランスフォーマーネットワーク(PDCNet)を提案する。 PDCNet内では、Transformerブランチを使用してフリンジイメージのグローバルな認識をキャプチャし、CNNブランチはスペックルイメージのローカル詳細を収集するように設計されている。 提案手法は, 自己生成データセット上で高精度な結果が得られる一方で, フランジオーダーの曖昧さを低減できることを示す。
  論文  参考訳（メタデータ） (2024-07-19T10:49:26Z)
• DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions [22.243043857097582]
  DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。 半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。 合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
  論文  参考訳（メタデータ） (2022-07-25T14:55:26Z)
• Non-parametric Depth Distribution Modelling based Depth Inference for Multi-view Stereo [43.415242967722804]
  最近のコストボリュームピラミッドに基づくディープニューラルネットワークは、多視点ステレオからの深度推論に高解像度の画像を効率的に活用する可能性を解き放った。 一般に、これらのアプローチは各ピクセルの深さが一様分布に従うと仮定する。 本研究では,非パラメトリック深度分布モデルを用いて,一様および多モード分布の画素を扱うコストボリュームを構築することを提案する。
  論文  参考訳（メタデータ） (2022-05-08T05:13:04Z)
• A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo [41.527018997251744]
  本研究では,深度,表面正規度,視野ごとの信頼度を共同で予測する深層多視点ステレオ(MVS)システムを提案する。 我々のアプローチの鍵は、ビューごとの深度マップと正規写像に対して反復的に解決する新しい解法である。 提案手法は,従来型および深層学習に基づくMVSパイプラインの深部品質を継続的に向上する。
  論文  参考訳（メタデータ） (2022-01-19T14:08:45Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
  高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。 我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。 提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-09-28T17:56:41Z)
• Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
  一つのビデオから多視点深度を推定する新しい手法を提案する。 提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。 最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-26T04:04:21Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)
• Monocular Depth Estimation Using Multi Scale Neural Network And Feature Fusion [0.0]
  ネットワークは2つの異なるブロックを使用し、まず、各特徴マップの畳み込みとマージに異なるフィルタサイズを使用する。 第2ブロックは、完全に連結された層の代わりに拡張畳み込みを使用し、計算を減らし、受容場を増大させる。 我々は、RMSE損失とSILog損失からなる深さ推定のための標準評価指標を用いて、Make 3Dデータセット、NYU Depth V2データセット、Kittiデータセットでネットワークをトレーニングし、テストする。
  論文  参考訳（メタデータ） (2020-09-11T18:08:52Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。