論文の概要: R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras

• arxiv url: http://arxiv.org/abs/2308.14713v1
• Date: Mon, 28 Aug 2023 17:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 12:53:04.002118
• Title: R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras
• Title（参考訳）: R3D3: 複数のカメラからのダイナミックシーンの高密度3次元再構成
• Authors: Aron Schmied, Tobias Fischer, Martin Danelljan, Marc Pollefeys, Fisher Yu
• Abstract要約: R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。 提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。 この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
• 参考スコア（独自算出の注目度）: 106.52409577316389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense 3D reconstruction and ego-motion estimation are key challenges in autonomous driving and robotics. Compared to the complex, multi-modal systems deployed today, multi-camera systems provide a simpler, low-cost alternative. However, camera-based 3D reconstruction of complex dynamic scenes has proven extremely difficult, as existing solutions often produce incomplete or incoherent results. We propose R3D3, a multi-camera system for dense 3D reconstruction and ego-motion estimation. Our approach iterates between geometric estimation that exploits spatial-temporal information from multiple cameras, and monocular depth refinement. We integrate multi-camera feature correlation and dense bundle adjustment operators that yield robust geometric depth and pose estimates. To improve reconstruction where geometric depth is unreliable, e.g. for moving objects or low-textured regions, we introduce learnable scene priors via a depth refinement network. We show that this design enables a dense, consistent 3D reconstruction of challenging, dynamic outdoor environments. Consequently, we achieve state-of-the-art dense depth prediction on the DDAD and NuScenes benchmarks.
• Abstract（参考訳）: 密集した3次元再構成とエゴモーション推定は、自動運転とロボット工学の重要な課題である。 今日デプロイされた複雑なマルチモーダルシステムと比較して、マルチカメラシステムはよりシンプルで低コストな代替手段を提供する。 しかし、カメラによる複雑なダイナミックシーンの3D再構成は非常に困難であり、既存のソリューションは不完全あるいは不整合な結果をもたらすことが多い。 本稿では,高密度な3次元再構成とエゴモーション推定のためのマルチカメラシステムR3D3を提案する。 提案手法は,複数のカメラからの空間-時間情報を利用した幾何推定と,単眼深度の精密化を繰り返す。 マルチカメラ特徴相関と高密度バンドル調整演算子を統合し,ロバストな幾何学的深さとポーズ推定を行う。 移動物体や低テクスチャ領域などの幾何学的深度が信頼できない再現性を改善するために,深度改善ネットワークを通じて学習可能なシーン前処理を導入する。 この設計により,屋外環境における挑戦的かつダイナミックな3次元再構成が可能となる。 その結果,DDADおよびNuScenesベンチマークを用いて,最先端の深度予測を行うことができた。

関連論文リスト

• Zero-Shot Multi-Object Scene Completion [59.325611678171974]
  1枚のRGB-D画像から複雑なシーンにおける複数の見えない物体の完全な形状を復元する3Dシーン補完法を提案する。 提案手法は, 合成および実世界の両方のデータセットにおいて, 現在の最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-03-21T17:59:59Z)
• DUSt3R: Geometric 3D Vision Made Easy [8.471330244002564]
  Dense and Unconstrained Stereo 3D Reconstruction of arbitrary image collections。 本定式化は単眼および両眼の再建症例を円滑に統一することを示す。 私たちの定式化はシーンの3Dモデルと深度情報を直接提供しますが、興味深いことに、シームレスに回復できます。
  論文  参考訳（メタデータ） (2023-12-21T18:52:14Z)
• Visual Geometry Grounded Deep Structure From Motion [20.203320509695306]
  本稿では,各コンポーネントが完全に微分可能で,エンドツーエンドでトレーニング可能な,新しいディープパイプラインVGGSfMを提案する。 まず, 深部2次元点追跡の最近の進歩をベースとして, 画素精度の高いトラックを抽出し, ペアマッチングのチェーン化の必要性を解消する。 私たちは、CO3D、IMC Phototourism、ETH3Dという3つの一般的なデータセットで最先端のパフォーマンスを達成しました。
  論文  参考訳（メタデータ） (2023-12-07T18:59:52Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• BS3D: Building-scale 3D Reconstruction from RGB-D Images [25.604775584883413]
  本稿では,消費者向け深度カメラを用いた大規模3次元再構築のための使い易いフレームワークを提案する。 複雑で高価な買収設定とは異なり、当社のシステムはクラウドソーシングを可能にする。
  論文  参考訳（メタデータ） (2023-01-03T11:46:14Z)
• Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
  我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。 我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。 我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-07-26T15:48:46Z)
• Towards Non-Line-of-Sight Photography [48.491977359971855]
  非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。 アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。 我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
  論文  参考訳（メタデータ） (2021-09-16T08:07:13Z)
• Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [71.59494156155309]
  既存のマルチビュー3Dポーズ推定手法は、複数のカメラビューからグループ2Dポーズ検出に対するクロスビュー対応を明確に確立する。 平面スイープステレオに基づくマルチビュー3Dポーズ推定手法を提案し、クロスビュー融合と3Dポーズ再構築を1ショットで共同で解決します。
  論文  参考訳（メタデータ） (2021-04-06T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。