論文の概要: NSLF-OL: Online Learning of Neural Surface Light Fields alongside
Real-time Incremental 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2305.00282v1
- Date: Sat, 29 Apr 2023 15:41:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 16:02:06.537945
- Title: NSLF-OL: Online Learning of Neural Surface Light Fields alongside
Real-time Incremental 3D Reconstruction
- Title（参考訳）: NSLF-OL:リアルタイムインクリメンタル3次元再構成を伴うニューラルネットワークのオンライン学習
- Authors: Yijun Yuan and Andreas Nuchter
- Abstract要約: そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。
我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。
オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
- 参考スコア（独自算出の注目度）: 0.76146285961466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Immersive novel view generation is an important technology in the field of
graphics and has recently also received attention for operator-based
human-robot interaction. However, the involved training is time-consuming, and
thus the current test scope is majorly on object capturing. This limits the
usage of related models in the robotics community for 3D reconstruction since
robots (1) usually only capture a very small range of view directions to
surfaces that cause arbitrary predictions on unseen, novel direction, (2)
requires real-time algorithms, and (3) work with growing scenes, e.g., in
robotic exploration. The paper proposes a novel Neural Surface Light Fields
model that copes with the small range of view directions while producing a good
result in unseen directions. Exploiting recent encoding techniques, the
training of our model is highly efficient.
In addition, we design Multiple Asynchronous Neural Agents (MANA), a
universal framework to learn each small region in parallel for large-scale
growing scenes. Our model learns online the Neural Surface Light Fields (NSLF)
aside from real-time 3D reconstruction with a sequential data stream as the
shared input. In addition to online training, our model also provides real-time
rendering after completing the data stream for visualization. We implement
experiments using well-known RGBD indoor datasets, showing the high flexibility
to embed our model into real-time 3D reconstruction and demonstrating
high-fidelity view synthesis for these scenes. The code is available on github.
- Abstract（参考訳）: 没入型新規ビュー生成はグラフィックス分野における重要な技術であり,近年,操作者による人間ロボットのインタラクションにも注目されている。
しかし、関連するトレーニングは時間がかかるため、現在のテスト範囲は、主にオブジェクトのキャプチャにかかっている。
これは、ロボットコミュニティにおける3次元再構築のための関連するモデルの使用を制限する。(1) ロボットは、通常、目に見えない、新しい方向の任意の予測を引き起こす表面への非常に小さな視野方向のみをキャプチャし、(2) リアルタイムアルゴリズムを必要とし、(3) ロボット探索のような成長するシーンで作業するためである。
そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。
最近のエンコーディング技術を活用することで、モデルのトレーニングは非常に効率的です。
さらに,大規模に成長するシーンに対して,各小領域を並列に学習する汎用フレームワークであるMANA(Multiple Asynchronous Neural Agents)を設計した。
我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。
オンライントレーニングに加えて,可視化のためのデータストリームの完了後にリアルタイムレンダリングも提供する。
我々は,有名なrgbd屋内データセットを用いて実験を行い,実時間3次元再構成にモデルを埋め込むための高い柔軟性を示し,これらのシーンに対する高忠実度な映像合成を示す。
コードはgithubで入手できる。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - RGB-D Mapping and Tracking in a Plenoxel Radiance Field [5.239559610798646]
ビュー合成モデルと3次元再構成モデルの間に重要な相違点を示す。
また、一般的な外向きのシーンにおける正確な幾何学をモデル化するために、奥行きセンサが不可欠である理由についてもコメントする。
提案手法は,タスクのマッピングと追跡を両立させるとともに,競合するニューラルネットワークのアプローチよりも高速である。
論文 参考訳（メタデータ） (2023-07-07T06:05:32Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳（メタデータ） (2022-06-16T10:45:17Z) - DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。
実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
論文 参考訳（メタデータ） (2022-05-31T12:13:54Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。
NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。
提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文 参考訳（メタデータ） (2022-02-24T01:31:29Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。