論文の概要: PatchMatch-Stereo-Panorama, a fast dense reconstruction from 360{\deg} video images

• arxiv url: http://arxiv.org/abs/2211.16266v1
• Date: Tue, 29 Nov 2022 14:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 17:35:06.410283
• Title: PatchMatch-Stereo-Panorama, a fast dense reconstruction from 360{\deg} video images
• Title（参考訳）: patchmatch-stereo-panorama - 360{\deg}ビデオ画像からの高速高密度再構成
• Authors: Hartmut Surmann, Marc Thurow, Dominik Slomma
• Abstract要約: この研究は、現在のアプローチとは異なる、PatchMatch-Stereo-algorithmの非常に並列な新しい変種を記述する。 以上の結果から,最近のモバイルGPUを用いたコンシューマグレードのラップトップでは,高密度な3D再構成が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This work proposes a new method for real-time dense 3d reconstruction for common 360{\deg} action cams, which can be mounted on small scouting UAVs during USAR missions. The proposed method extends a feature based Visual monocular SLAM (OpenVSLAM, based on the popular ORB-SLAM) for robust long-term localization on equirectangular video input by adding an additional densification thread that computes dense correspondences for any given keyframe with respect to a local keyframe-neighboorhood using a PatchMatch-Stereo-approach. While PatchMatch-Stereo-types of algorithms are considered state of the art for large scale Mutli-View-Stereo they had not been adapted so far for real-time dense 3d reconstruction tasks. This work describes a new massively parallel variant of the PatchMatch-Stereo-algorithm that differs from current approaches in two ways: First it supports the equirectangular camera model while other solutions are limited to the pinhole camera model. Second it is optimized for low latency while keeping a high level of completeness and accuracy. To achieve this it operates only on small sequences of keyframes, but employs techniques to compensate for the potential loss of accuracy due to the limited number of frames. Results demonstrate that dense 3d reconstruction is possible on a consumer grade laptop with a recent mobile GPU and that it is possible with improved accuracy and completeness over common offline-MVS solutions with comparable quality settings.
• Abstract（参考訳）: 本研究は,USARミッション中に小型偵察UAVに搭載可能な,360{\deg}アクションカムのリアルタイム高密度3d再構成手法を提案する。 提案手法は,PatchMatch-Stereo-approach を用いた局所鍵フレーム近傍について,任意の鍵フレームに対して密度の高い対応を演算する付加的なデシフィケーションスレッドを追加することにより,等角ビデオ入力の長期的ローカライズを堅牢にするための特徴ベースの Visual monocular SLAM (OpenVSLAM ) を拡張した。 PatchMatch-Stereo型アルゴリズムは大規模なMutli-View-Stereoの最先端技術と考えられているが、リアルタイムの高密度3D再構成には適用されなかった。 本研究はpatchmatch-stereo-algorithmの大規模並列版について述べるもので、現在のアプローチとは2つの点で異なる: まずは等角カメラモデルをサポートし、他の解決策はピンホールカメラモデルに限定されている。 次に、高いレベルの完全性と精度を維持しながら、低レイテンシに最適化されている。 これを実現するために、キーフレームの小さなシーケンスでのみ動作するが、フレーム数が限られているため、精度の低下を補う技術を採用している。 その結果,最近のモバイルGPUを搭載したコンシューマグレードのラップトップでは高密度な3D再構成が可能であり,同等品質のオフラインMVSソリューションよりも精度と完全性が向上した。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• Grounding Image Matching in 3D with MASt3R [8.14650201701567]
  本稿では,トランスフォーマーをベースとした強力な3次元再構成フレームワークであるDUSt3Rによる3Dタスクのキャストマッチングを提案する。 我々は,DUSt3Rネットワークを高密度な局所的特徴を出力する新しいヘッドで拡張することを提案する。 提案手法はMASt3Rとよばれる手法で,複数のマッチングタスクにおいて技量を著しく上回っている。
  論文  参考訳（メタデータ） (2024-06-14T06:46:30Z)
• GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
  シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。 本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。 提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:50Z)
• Gamba: Marry Gaussian Splatting with Mamba for single view 3D reconstruction [153.52406455209538]
  Gambaは、単一のビューイメージからエンドツーエンドの3D再構成モデルである。 1つのNVIDIA A100 GPUで0.05秒以内に再構築が完了する。
  論文  参考訳（メタデータ） (2024-03-27T17:40:14Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• Revisiting PatchMatch Multi-View Stereo for Urban 3D Reconstruction [1.1011268090482573]
  PatchMatch Multi-View Stereo (MVS) に基づく画像に基づく都市シナリオの3次元再構築のための完全なパイプラインを提案する。 提案手法は、KITTIデータセット上の古典的MVSアルゴリズムと単分子深度ネットワークの両方に対して慎重に評価される。
  論文  参考訳（メタデータ） (2022-07-18T08:45:54Z)
• Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth [90.33296913575818]
  映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。 局所重み付き線形回帰法を提案する。 提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
  論文  参考訳（メタデータ） (2022-02-03T08:52:54Z)
• Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition [24.220358793070965]
  3次元畳み込み(emphLS3D-Conv)の能力を向上させるための新しいモジュールを導入する。 学習可能な2Dオフセットを3D畳み込みに追加し、フレーム間の空間的特徴マップ上の位置をサンプリングする。 ビデオ, ビデオ超解像, ビデオデノナイズ, アクション認識実験により, 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-22T09:20:49Z)
• Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video [10.181846237133167]
  立体光学ビデオから組織表面の高密度3次元モデル(3次元)をリアルタイムに再構成する手法を提案する。 まずステレオマッチングを用いてビデオフレームから3D情報を抽出し,再構成した3Dモデルをモザイクする。 2mm未満の精度で高分解能テクスチャを有する復元3Dモデルについて, 生体内および生体内データによる実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-16T19:14:05Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。