論文の概要: LivePose: Online 3D Reconstruction from Monocular Video with Dynamic Camera Poses

• arxiv url: http://arxiv.org/abs/2304.00054v2
• Date: Fri, 18 Aug 2023 22:50:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 00:12:28.580890
• Title: LivePose: Online 3D Reconstruction from Monocular Video with Dynamic Camera Poses
• Title（参考訳）: LivePose:ダイナミックカメラでモノクロ映像からオンライン3Dレコンストラクション
• Authors: Noah Stier, Baptiste Angles, Liang Yang, Yajie Yan, Alex Colburn, Ming Chuang
• Abstract要約: ScanNet上で動作するSLAMシステムからの動的ポーズを含むLivePoseというデータセットを導入する。 本稿では,古いシーンコンテンツを削除することを学習する新しい非線形分解モジュールを提案する。
• 参考スコア（独自算出の注目度）: 7.841752108770213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense 3D reconstruction from RGB images traditionally assumes static camera pose estimates. This assumption has endured, even as recent works have increasingly focused on real-time methods for mobile devices. However, the assumption of a fixed pose for each image does not hold for online execution: poses from real-time SLAM are dynamic and may be updated following events such as bundle adjustment and loop closure. This has been addressed in the RGB-D setting, by de-integrating past views and re-integrating them with updated poses, but it remains largely untreated in the RGB-only setting. We formalize this problem to define the new task of dense online reconstruction from dynamically-posed images. To support further research, we introduce a dataset called LivePose containing the dynamic poses from a SLAM system running on ScanNet. We select three recent reconstruction systems and apply a framework based on de-integration to adapt each one to the dynamic-pose setting. In addition, we propose a novel, non-linear de-integration module that learns to remove stale scene content. We show that responding to pose updates is critical for high-quality reconstruction, and that our de-integration framework is an effective solution.
• Abstract（参考訳）: RGB画像からのDense 3D再構成は、伝統的に静的カメラのポーズ推定を前提としている。 この仮定は、最近の研究がモバイルデバイスのリアルタイム手法にますます注力しているにもかかわらず、存続している。 しかし、各画像に対する固定ポーズの仮定はオンライン実行には当てはまらない:リアルタイムSLAMからのポーズは動的であり、バンドル調整やループ閉鎖といったイベントに続いて更新される可能性がある。 これは、過去のビューを非統合し、更新されたポーズと再統合することで、RGB-D設定で対処されてきたが、RGBのみの設定では、ほとんど未処理のままである。 我々はこの問題を形式化し、動的に配置された画像から高密度のオンライン再構成を行う新しいタスクを定義する。 さらなる研究を支援するために,ScanNet上で動作するSLAMシステムからの動的ポーズを含むLivePoseというデータセットを紹介した。 我々は,最近の3つの再構成システムを選択し,動的配置に適合させるために,分解に基づくフレームワークを適用した。 さらに,古いシーンのコンテンツを削除することを学ぶ,新しい非線形デインテグレーションモジュールを提案する。 ポーズ更新に対する応答は高品質な再構築に不可欠であり、分解フレームワークは効果的なソリューションであることを示す。

関連論文リスト

• USP-Gaussian: Unifying Spike-based Image Reconstruction, Pose Correction and Gaussian Splatting [45.246178004823534]
  スパイクカメラは、0-1ビットストリームを40kHzで撮影する革新的なニューロモルフィックカメラとして、ますます3D再構成タスクに採用されている。 以前のスパイクベースの3D再構成アプローチでは、ケースケースのパイプラインを使うことが多い。 本稿では,スパイクに基づく画像再構成,ポーズ補正,ガウス的スプラッティングをエンドツーエンドのフレームワークに統一する,相乗的最適化フレームワーク textbfUSP-Gaussian を提案する。
  論文  参考訳（メタデータ） (2024-11-15T14:15:16Z)
• DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction [65.46359561104867]
  モノクラーカメラ入力からのオンライン2Dおよび3Dポイントトラッキングの課題を対象としている。 我々は3Dガウススプラッティングを利用して動的シーンをオンラインに再構築する。 我々は,オンラインのポイントトラッキングとリコンストラクションを推進し,様々な現実のシナリオに適用可能にすることを目的としている。
  論文  参考訳（メタデータ） (2024-09-03T17:58:03Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• Towards Non-Line-of-Sight Photography [48.491977359971855]
  非視線イメージング(NLOS)は、隠された物体からの多重バウンス間接反射を捉えることに基づいている。 アクティブなNLOSイメージングシステムは、シーンを通しての光の飛行時間の捕捉に依存している。 我々はNLOS写真と呼ばれる新しい問題定式化を提案し、この欠陥に特に対処する。
  論文  参考訳（メタデータ） (2021-09-16T08:07:13Z)
• Black-Box Test-Time Shape REFINEment for Single View 3D Reconstruction [57.805334118057665]
  文献中の任意のブラックボックス方式のパイプラインに容易に組み込むことができる後処理メッシュ改善ステップであるREFINEを提案する。 テスト時には、REFINEはメッシュ毎のネットワークインスタンスを最適化し、メッシュと所定のオブジェクトビュー間の一貫性を促進する。
  論文  参考訳（メタデータ） (2021-08-23T03:28:47Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。