論文の概要: Towards Live 3D Reconstruction from Wearable Video: An Evaluation of
V-SLAM, NeRF, and Videogrammetry Techniques
- arxiv url: http://arxiv.org/abs/2211.11836v1
- Date: Mon, 21 Nov 2022 19:57:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 19:05:17.069854
- Title: Towards Live 3D Reconstruction from Wearable Video: An Evaluation of
V-SLAM, NeRF, and Videogrammetry Techniques
- Title（参考訳）: ウェアラブル映像からのライブ3D再構成に向けて:V-SLAM, NeRF, ビデオグラム計測技術の評価
- Authors: David Ramirez, Suren Jayasuriya, Andreas Spanias
- Abstract要約: MR(Mixed Reality)は、戦争の未来を変えることを約束する重要な技術である。
この技術を実現するためには,実動センサ観測に基づいて物理的環境の大規模3次元モデルを維持する必要がある。
実写映像のみを用いた大規模軍用地図作成のための3次元再構成アルゴリズムについて検討した。
- 参考スコア（独自算出の注目度）: 20.514826446476267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed reality (MR) is a key technology which promises to change the future of
warfare. An MR hybrid of physical outdoor environments and virtual military
training will enable engagements with long distance enemies, both real and
simulated. To enable this technology, a large-scale 3D model of a physical
environment must be maintained based on live sensor observations. 3D
reconstruction algorithms should utilize the low cost and pervasiveness of
video camera sensors, from both overhead and soldier-level perspectives.
Mapping speed and 3D quality can be balanced to enable live MR training in
dynamic environments. Given these requirements, we survey several 3D
reconstruction algorithms for large-scale mapping for military applications
given only live video. We measure 3D reconstruction performance from common
structure from motion, visual-SLAM, and photogrammetry techniques. This
includes the open source algorithms COLMAP, ORB-SLAM3, and NeRF using
Instant-NGP. We utilize the autonomous driving academic benchmark KITTI, which
includes both dashboard camera video and lidar produced 3D ground truth. With
the KITTI data, our primary contribution is a quantitative evaluation of 3D
reconstruction computational speed when considering live video.
- Abstract（参考訳）: MR(Mixed Reality)は、戦争の未来を変えることを約束する重要な技術である。
物理的な屋外環境と仮想軍事訓練のMRハイブリッドは、リアルとシミュレートの両方で長距離敵とのエンゲージメントを可能にする。
この技術を実現するためには,実動センサ観測に基づいて物理的環境の大規模3次元モデルを維持する必要がある。
3dリコンストラクションアルゴリズムは、オーバーヘッドと兵士レベルの両方の観点から、ビデオカメラセンサーの低コストと普及性を活用するべきである。
マッピング速度と3D品質のバランスをとることで、動的環境でのライブMRトレーニングを可能にする。
これらの要件を考慮し,軍事用大規模マッピングのための3次元再構成アルゴリズムについて検討した。
運動,視覚スラム,フォトグラメトリーの共通構造から3次元復元性能を測定した。
これには、Instant-NGPを使ったオープンソースのアルゴリズムCOLMAP、ORB-SLAM3、NeRFが含まれる。
我々は、ダッシュボードカメラビデオとライダーが生成した3D地上真実の両方を含む自律走行学習ベンチマークKITTIを利用する。
kittiデータを用いて,ライブビデオを考慮した3次元再構成計算速度の定量的評価を行った。
関連論文リスト
- Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - Stereo4D: Learning How Things Move in 3D from Internet Stereo Videos [76.07894127235058]
本稿では,インターネットの立体視,広角ビデオから高品質な4D再構成をマイニングするシステムを提案する。
本研究では,この手法を用いて世界整合型擬似3次元点雲の形で大規模データを生成する。
DUSt3Rの変種をトレーニングし、実世界の画像対から構造と3次元運動を予測することで、このデータの有用性を実証する。
論文 参考訳（メタデータ） (2024-12-12T18:59:54Z) - LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。
本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。
我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
論文 参考訳（メタデータ） (2024-08-14T10:00:16Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - 3D Reconstruction of Non-cooperative Resident Space Objects using
Instant NGP-accelerated NeRF and D-NeRF [0.0]
この研究は、ニューラル放射場(NeRF)アルゴリズムの変動であるInstant NeRFとD-NeRFを軌道上のRSOをマッピングする問題に適応させる。
これらのアルゴリズムは、宇宙船モックアップの画像のデータセットを用いて、3次元再構成の品質とハードウェア要件を評価する。
論文 参考訳（メタデータ） (2023-01-22T05:26:08Z) - Aerial Monocular 3D Object Detection [67.20369963664314]
DVDETは2次元画像空間と3次元物理空間の両方で空中単分子3次元物体検出を実現するために提案される。
高度視差変形問題に対処するため,新しい測地変形変換モジュールを提案する。
より多くの研究者がこの領域を調査するよう促すため、データセットと関連するコードをリリースします。
論文 参考訳（メタデータ） (2022-08-08T08:32:56Z) - 3D Human Reconstruction in the Wild with Collaborative Aerial Cameras [3.3674370488883434]
本研究では,自然環境下での人体の動きを,専用マーカーを使わずに再現できるマルチカメラ制御のためのリアルタイム航空システムを提案する。
本研究では,障害物間における目標再構成品質を最適に設定するマルチロボット調整手法を開発した。
論文 参考訳（メタデータ） (2021-08-09T11:03:38Z) - Synergetic Reconstruction from 2D Pose and 3D Motion for Wide-Space
Multi-Person Video Motion Capture in the Wild [3.0015034534260665]
マルチカメラの精度と滑らかさを考慮したマーカーレスモーションキャプチャ手法を提案する。
提案手法は,各人物の3Dポーズを予測し,マルチカメラ画像のバウンディングボックスを決定する。
提案手法を,様々なデータセットと実スポーツフィールドを用いて評価した。
論文 参考訳（メタデータ） (2020-01-16T02:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。