論文の概要: DISORF: A Distributed Online 3D Reconstruction Framework for Mobile Robots
- arxiv url: http://arxiv.org/abs/2403.00228v2
- Date: Wed, 31 Jul 2024 03:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 20:25:13.774300
- Title: DISORF: A Distributed Online 3D Reconstruction Framework for Mobile Robots
- Title(参考訳): DISORF - 移動ロボットのための分散オンライン3D再構成フレームワーク
- Authors: Chunlin Li, Hanrui Fan, Xiaorui Huang, Ruofan Liang, Sankeerth Durvasula, Nandita Vijaykumar,
- Abstract要約: DISORFは、リソースに制約された移動ロボットとエッジデバイスによってキャプチャされたシーンのオンライン3D再構成と視覚化を可能にするフレームワークである。
デバイス上のSLAMシステムを利用してポーズを生成し、それをリモートサーバに送信し、実行時に高品質な3D再構成と可視化を行う。
本稿では,オンライン学習におけるこの課題に対処する,シフト指数型フレームサンプリング手法を提案する。
- 参考スコア(独自算出の注目度): 4.683651138674254
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a framework, DISORF, to enable online 3D reconstruction and visualization of scenes captured by resource-constrained mobile robots and edge devices. To address the limited computing capabilities of edge devices and potentially limited network availability, we design a framework that efficiently distributes computation between the edge device and the remote server. We leverage on-device SLAM systems to generate posed keyframes and transmit them to remote servers that can perform high-quality 3D reconstruction and visualization at runtime by leveraging recent advances in neural 3D methods. We identify a key challenge with online training where naive image sampling strategies can lead to significant degradation in rendering quality. We propose a novel shifted exponential frame sampling method that addresses this challenge for online training. We demonstrate the effectiveness of our framework in enabling high-quality real-time reconstruction and visualization of unknown scenes as they are captured and streamed from cameras in mobile robots and edge devices.
- Abstract(参考訳): 本研究では,資源制約された移動ロボットやエッジデバイスが捉えたシーンのオンライン3次元再構成と可視化を実現するためのフレームワークであるDIORFを提案する。
エッジデバイスの限られた計算能力と潜在的に限られたネットワーク可用性に対処するため,エッジデバイスとリモートサーバ間で効率的に計算を分散するフレームワークを設計する。
我々は、オンデバイスSLAMシステムを活用して、ポーズ付きキーフレームを生成し、それらを遠隔サーバに送信し、ニューラル3D手法の最近の進歩を活用して、実行時に高品質な3D再構成と可視化を行う。
我々は、画像サンプリング戦略がレンダリング品質を著しく低下させるおそれのあるオンライントレーニングにおいて、重要な課題を識別する。
本稿では,オンライン学習におけるこの課題に対処する,シフト指数型フレームサンプリング手法を提案する。
我々は,移動ロボットやエッジデバイスのカメラから撮影・ストリームされる未知シーンの高品質なリアルタイム再構築と可視化を実現する上で,我々のフレームワークの有効性を実証する。
関連論文リスト
- Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。
COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文 参考訳(メタデータ) (2024-03-07T00:00:02Z) - Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。
無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。
我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
論文 参考訳(メタデータ) (2023-12-18T13:51:56Z) - Shielding the Unseen: Privacy Protection through Poisoning NeRF with
Spatial Deformation [59.302770084115814]
本稿では,Neural Radiance Fields(NeRF)モデルの生成機能に対して,ユーザのプライバシを保護する革新的な手法を提案する。
我々の新しい中毒攻撃法は、人間の目では認識できないが、NeRFが正確に3Dシーンを再構築する能力を損なうのに十分強力である観察ビューの変化を誘発する。
我々は、高品質の画像を含む29の現実世界シーンからなる2つの共通のNeRFベンチマークデータセットに対して、我々のアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2023-10-04T19:35:56Z) - SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic
Reconstruction of Indoor Scenes [17.711755550841385]
SLAMに基づく手法は、3Dシーンの形状をリアルタイムで段階的に再構成することができるが、フォトリアリスティックな結果を描画することはできない。
NeRFベースの手法は、将来有望な新しいビュー合成結果を生成し、その長いオフライン最適化時間と幾何的制約の欠如は、オンライン入力を効率的に処理する上での課題となる。
本稿では、フレキシブルでスケーラブルなニューラルサーベイル表現を用いて、入力画像から幾何学的属性と外観特徴を抽出するSurfelNeRFを紹介する。
論文 参考訳(メタデータ) (2023-04-18T13:11:49Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳(メタデータ) (2023-04-10T08:36:00Z) - 3D Reconstruction of Non-cooperative Resident Space Objects using
Instant NGP-accelerated NeRF and D-NeRF [0.0]
この研究は、ニューラル放射場(NeRF)アルゴリズムの変動であるInstant NeRFとD-NeRFを軌道上のRSOをマッピングする問題に適応させる。
これらのアルゴリズムは、宇宙船モックアップの画像のデータセットを用いて、3次元再構成の品質とハードウェア要件を評価する。
論文 参考訳(メタデータ) (2023-01-22T05:26:08Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z) - Multi-view data capture for dynamic object reconstruction using handheld
augmented reality mobiles [0.0]
移動移動型携帯端末からほぼ同期のフレームストリームをキャプチャするシステムを提案する。
各モバイルは、そのポーズを推定するために同時にローカライズとマッピングを実行し、無線通信チャネルを使用して同期トリガーを送受信する。
3次元骨格とボリュームリコンストラクションに利用することで,本システムの有効性を示す。
論文 参考訳(メタデータ) (2021-03-14T10:26:50Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳(メタデータ) (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。