論文の概要: PatchMatch-Stereo-Panorama, a fast dense reconstruction from 360{\deg}
video images
- arxiv url: http://arxiv.org/abs/2211.16266v1
- Date: Tue, 29 Nov 2022 14:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 17:35:06.410283
- Title: PatchMatch-Stereo-Panorama, a fast dense reconstruction from 360{\deg}
video images
- Title(参考訳): patchmatch-stereo-panorama - 360{\deg}ビデオ画像からの高速高密度再構成
- Authors: Hartmut Surmann, Marc Thurow, Dominik Slomma
- Abstract要約: この研究は、現在のアプローチとは異なる、PatchMatch-Stereo-algorithmの非常に並列な新しい変種を記述する。
以上の結果から,最近のモバイルGPUを用いたコンシューマグレードのラップトップでは,高密度な3D再構成が可能であることが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This work proposes a new method for real-time dense 3d reconstruction for
common 360{\deg} action cams, which can be mounted on small scouting UAVs
during USAR missions. The proposed method extends a feature based Visual
monocular SLAM (OpenVSLAM, based on the popular ORB-SLAM) for robust long-term
localization on equirectangular video input by adding an additional
densification thread that computes dense correspondences for any given keyframe
with respect to a local keyframe-neighboorhood using a
PatchMatch-Stereo-approach. While PatchMatch-Stereo-types of algorithms are
considered state of the art for large scale Mutli-View-Stereo they had not been
adapted so far for real-time dense 3d reconstruction tasks. This work describes
a new massively parallel variant of the PatchMatch-Stereo-algorithm that
differs from current approaches in two ways: First it supports the
equirectangular camera model while other solutions are limited to the pinhole
camera model. Second it is optimized for low latency while keeping a high level
of completeness and accuracy. To achieve this it operates only on small
sequences of keyframes, but employs techniques to compensate for the potential
loss of accuracy due to the limited number of frames. Results demonstrate that
dense 3d reconstruction is possible on a consumer grade laptop with a recent
mobile GPU and that it is possible with improved accuracy and completeness over
common offline-MVS solutions with comparable quality settings.
- Abstract(参考訳): 本研究は,USARミッション中に小型偵察UAVに搭載可能な,360{\deg}アクションカムのリアルタイム高密度3d再構成手法を提案する。
提案手法は,PatchMatch-Stereo-approach を用いた局所鍵フレーム近傍について,任意の鍵フレームに対して密度の高い対応を演算する付加的なデシフィケーションスレッドを追加することにより,等角ビデオ入力の長期的ローカライズを堅牢にするための特徴ベースの Visual monocular SLAM (OpenVSLAM ) を拡張した。
PatchMatch-Stereo型アルゴリズムは大規模なMutli-View-Stereoの最先端技術と考えられているが、リアルタイムの高密度3D再構成には適用されなかった。
本研究はpatchmatch-stereo-algorithmの大規模並列版について述べるもので、現在のアプローチとは2つの点で異なる: まずは等角カメラモデルをサポートし、他の解決策はピンホールカメラモデルに限定されている。
次に、高いレベルの完全性と精度を維持しながら、低レイテンシに最適化されている。
これを実現するために、キーフレームの小さなシーケンスでのみ動作するが、フレーム数が限られているため、精度の低下を補う技術を採用している。
その結果,最近のモバイルGPUを搭載したコンシューマグレードのラップトップでは高密度な3D再構成が可能であり,同等品質のオフラインMVSソリューションよりも精度と完全性が向上した。
関連論文リスト
- Fast and Lightweight Scene Regressor for Camera Relocalization [1.6708069984516967]
プレビルドされた3Dモデルに対して直接カメラのポーズを推定することは、いくつかのアプリケーションにとって違法にコストがかかる可能性がある。
本研究では,シーン座標のマッピングに多層パーセプトロンネットワークのみを必要とする簡易なシーン回帰手法を提案する。
提案手法では,高密度のRGB画像ではなく,スパースディスクリプタを用いてシーン座標を回帰する。
論文 参考訳(メタデータ) (2022-12-04T14:41:20Z) - NeuMap: Neural Coordinate Mapping by Auto-Transdecoder for Camera
Localization [60.73541222862195]
NeuMapは、カメラのローカライゼーションのためのエンドツーエンドのニューラルマッピング手法である。
シーン全体を遅延コードグリッドにエンコードし、Transformerベースのオートデコーダがクエリピクセルの3D座標を回帰する。
論文 参考訳(メタデータ) (2022-11-21T04:46:22Z) - Revisiting PatchMatch Multi-View Stereo for Urban 3D Reconstruction [1.1011268090482573]
PatchMatch Multi-View Stereo (MVS) に基づく画像に基づく都市シナリオの3次元再構築のための完全なパイプラインを提案する。
提案手法は、KITTIデータセット上の古典的MVSアルゴリズムと単分子深度ネットワークの両方に対して慎重に評価される。
論文 参考訳(メタデータ) (2022-07-18T08:45:54Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳(メタデータ) (2022-02-03T08:52:54Z) - Pixel-Perfect Structure-from-Motion with Featuremetric Refinement [96.73365545609191]
複数視点からの低レベル画像情報を直接アライメントすることで、動きからの2つの重要なステップを洗練する。
これにより、様々なキーポイント検出器のカメラポーズとシーン形状の精度が大幅に向上する。
本システムは,大規模な画像コレクションに容易にスケールできるので,クラウドソースによる大規模なローカライゼーションを実現することができる。
論文 参考訳(メタデータ) (2021-08-18T17:58:55Z) - Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
論文 参考訳(メタデータ) (2021-08-12T15:22:33Z) - Learnable Sampling 3D Convolution for Video Enhancement and Action
Recognition [24.220358793070965]
3次元畳み込み(emphLS3D-Conv)の能力を向上させるための新しいモジュールを導入する。
学習可能な2Dオフセットを3D畳み込みに追加し、フレーム間の空間的特徴マップ上の位置をサンプリングする。
ビデオ, ビデオ超解像, ビデオデノナイズ, アクション認識実験により, 提案手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-11-22T09:20:49Z) - Towards Fast, Accurate and Stable 3D Dense Face Alignment [73.01620081047336]
本稿では,速度,精度,安定性のバランスをとる3DDFA-V2という新しい回帰フレームワークを提案する。
本研究では,静止画を平面内と面外の動きを取り入れた映像に変換する仮想合成法を提案する。
論文 参考訳(メタデータ) (2020-09-21T15:37:37Z) - Real-time Dense Reconstruction of Tissue Surface from Stereo Optical
Video [10.181846237133167]
立体光学ビデオから組織表面の高密度3次元モデル(3次元)をリアルタイムに再構成する手法を提案する。
まずステレオマッチングを用いてビデオフレームから3D情報を抽出し,再構成した3Dモデルをモザイクする。
2mm未満の精度で高分解能テクスチャを有する復元3Dモデルについて, 生体内および生体内データによる実験結果を得た。
論文 参考訳(メタデータ) (2020-07-16T19:14:05Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。