論文の概要: DISORF: A Distributed Online NeRF Training and Rendering Framework for Mobile Robots

• arxiv url: http://arxiv.org/abs/2403.00228v1
• Date: Fri, 1 Mar 2024 02:19:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:37:36.611480
• Title: DISORF: A Distributed Online NeRF Training and Rendering Framework for Mobile Robots
• Title（参考訳）: DISORF: 移動ロボットのための分散オンラインNeRFトレーニングおよびレンダリングフレームワーク
• Authors: Chunlin Li, Ruofan Liang, Hanrui Fan, Zhengen Zhang, Sankeerth Durvasula, Nandita Vijaykumar
• Abstract要約: DISORFは、リソースに制約された移動ロボットとエッジデバイスによってキャプチャされたシーンのオンライン3D再構成と視覚化を可能にするフレームワークである。 デバイス上のSLAMシステムを利用してポーズを生成し、それをリモートサーバに送信し、実行時に高品質な3D再構成と可視化を行う。
• 参考スコア（独自算出の注目度）: 4.918516200275303
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a framework, DISORF, to enable online 3D reconstruction and visualization of scenes captured by resource-constrained mobile robots and edge devices. To address the limited compute capabilities of edge devices and potentially limited network availability, we design a framework that efficiently distributes computation between the edge device and remote server. We leverage on-device SLAM systems to generate posed keyframes and transmit them to remote servers that can perform high quality 3D reconstruction and visualization at runtime by leveraging NeRF models. We identify a key challenge with online NeRF training where naive image sampling strategies can lead to significant degradation in rendering quality. We propose a novel shifted exponential frame sampling method that addresses this challenge for online NeRF training. We demonstrate the effectiveness of our framework in enabling high-quality real-time reconstruction and visualization of unknown scenes as they are captured and streamed from cameras in mobile robots and edge devices.
• Abstract（参考訳）: 本稿では,リソースに制約のある移動ロボットやエッジデバイスで撮影されたシーンのオンライン3次元再構成と可視化を実現するためのフレームワークdisorfを提案する。 エッジデバイスの限られた計算能力と潜在的に限られたネットワーク可用性に対処するため,エッジデバイスとリモートサーバ間で効率的に計算を分散するフレームワークを設計する。 デバイス上でのSLAMシステムを活用してキーフレームを生成し,NeRFモデルを利用して,高品質な3D再構成と可視化を実現する遠隔サーバに送信する。 オンラインNeRFトレーニングにおける重要な課題は、画像サンプリング戦略がレンダリング品質を著しく低下させる可能性があることだ。 オンラインNeRFトレーニングにおいて,この課題に対処する新しい指数関数型フレームサンプリング手法を提案する。 移動ロボットやエッジデバイスのカメラから撮影・ストリームされる未知のシーンの高品位なリアルタイム復元と可視化を実現するためのフレームワークの有効性を実証する。

関連論文リスト

• DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery [2.1653492349540784]
  DeforHMRは、人間のポーズパラメータの予測を強化するために設計された、新しい回帰ベースの単分子HMRフレームワークである。 DeforHMRは、トランスフォーマーデコーダ内の新しいクエリ非依存の変形可能なクロスアテンション機構を活用する。 広範に使用されている3D HMRベンチマーク3DPW と RICH 上で,単一フレーム回帰に基づく手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-18T00:46:59Z)
• Federated Multi-View Synthesizing for Metaverse [52.59476179535153]
  メタバースは没入型エンターテイメント、教育、ビジネスアプリケーションを提供すると期待されている。 無線ネットワーク上のバーチャルリアリティ(VR)伝送は、データと計算集約である。 我々は,メタバースにおける無線コンテンツ配信のために,効率的な合成,記憶,通信資源を提供する,新しい多視点合成フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-12-18T13:51:56Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
  そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。 我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。 オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
  論文  参考訳（メタデータ） (2023-04-29T15:41:15Z)
• Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer [26.21320177775571]
  本稿では,オンラインカメラ・ロボット・キャリブレーションと自己監督型トレーニング手法を備えたエンドツーエンドのポーズ推定フレームワークを提案する。 我々のフレームワークはロボットのポーズを解くための深層学習と幾何学的ビジョンを組み合わせており、パイプラインは完全に微分可能である。
  論文  参考訳（メタデータ） (2023-02-28T05:55:42Z)
• Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
  本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。 搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。 ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
  論文  参考訳（メタデータ） (2022-06-16T10:45:17Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Achieving Real-Time LiDAR 3D Object Detection on a Mobile Device [53.323878851563414]
  本稿では,強化学習技術を用いたネットワーク拡張とpruning検索を組み込んだコンパイラ対応統一フレームワークを提案する。 具体的には,リカレントニューラルネットワーク(RNN)を用いて,ネットワークの強化とプルーニングの両面での統一的なスキームを自動で提供する。 提案手法は,モバイルデバイス上でのリアルタイム3次元物体検出を実現する。
  論文  参考訳（メタデータ） (2020-12-26T19:41:15Z)
• Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for Online Collision Avoidance [95.86944752753564]
  本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。 我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。 本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
  論文  参考訳（メタデータ） (2020-07-28T07:34:30Z)
• A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for with Mobile Robots using RGB Data [3.4806267677524896]
  本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。 本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。 2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
  論文  参考訳（メタデータ） (2020-01-16T09:13:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。