論文の概要: AsyncNeRF: Learning Large-scale Radiance Fields from Asynchronous RGB-D
Sequences with Time-Pose Function
- arxiv url: http://arxiv.org/abs/2211.07459v1
- Date: Mon, 14 Nov 2022 15:37:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 19:43:27.570307
- Title: AsyncNeRF: Learning Large-scale Radiance Fields from Asynchronous RGB-D
Sequences with Time-Pose Function
- Title（参考訳）: AsyncNeRF:時相関数付き非同期RGB-D系列から大規模ラジアンス場を学習する
- Authors: Zirui Wu, Yuantao Chen, Runyi Yang, Zhenxin Zhu, Chao Hou, Yongliang
Shi, Hao Zhao, Guyue Zhou
- Abstract要約: 大規模な放射界は、自動運転やドローン配達といったスマートトランスポートアプリケーションのためのマッピングツールを約束している。
しかし、大規模なシーンでは、コンパクトなRGB-Dカメラはセンサー範囲が限られているため適用できない。
本稿では,RGBフレームと奥行きフレームのミスマッチを自己校正する最初の解を提案する。
- 参考スコア（独自算出の注目度）: 2.0700454247618993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale radiance fields are promising mapping tools for smart
transportation applications like autonomous driving or drone delivery. But for
large-scale scenes, compact synchronized RGB-D cameras are not applicable due
to limited sensing range, and using separate RGB and depth sensors inevitably
leads to unsynchronized sequences. Inspired by the recent success of
self-calibrating radiance field training methods that do not require known
intrinsic or extrinsic parameters, we propose the first solution that
self-calibrates the mismatch between RGB and depth frames. We leverage the
important domain-specific fact that RGB and depth frames are actually sampled
from the same trajectory and develop a novel implicit network called the
time-pose function. Combining it with a large-scale radiance field leads to an
architecture that cascades two implicit representation networks. To validate
its effectiveness, we construct a diverse and photorealistic dataset that
covers various RGB-D mismatch scenarios. Through a comprehensive benchmarking
on this dataset, we demonstrate the flexibility of our method in different
scenarios and superior performance over applicable prior counterparts. Codes,
data, and models will be made publicly available.
- Abstract（参考訳）: 大規模な放射界は、自動運転やドローン配達といったスマートトランスポートアプリケーションのためのマッピングツールを約束している。
しかし、大規模なシーンでは、センサ範囲が限られているため、コンパクトな同期RGB-Dカメラは適用できない。
そこで本研究では,RGBと深度フレームのミスマッチを自己校正する手法を提案する。
rgbと深度フレームが実際に同じ軌道からサンプリングされているという重要なドメイン特有な事実を利用し、time-pose関数と呼ばれる新しい暗黙的ネットワークを開発する。
大規模な放射場と組み合わせることで、2つの暗黙の表現ネットワークをカスケードするアーキテクチャとなる。
その有効性を検証するために,様々なRGB-Dミスマッチシナリオをカバーする多種多様なフォトリアリスティックデータセットを構築した。
このデータセットの包括的なベンチマークを通じて、異なるシナリオにおけるメソッドの柔軟性と、適用可能な先行モデルよりも優れたパフォーマンスを実証する。
コード、データ、モデルは公開される予定だ。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - PRTGaussian: Efficient Relighting Using 3D Gaussians with Precomputed Radiance Transfer [13.869132334647771]
PRTGaussianはリアルタイムに再生可能な新規ビュー合成法である。
マルチビューOLATデータにガウスアンを組み込むことで,リアルタイムで自由視点のリライトを可能にする。
論文 参考訳（メタデータ） (2024-08-10T20:57:38Z) - Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。
提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文 参考訳（メタデータ） (2024-07-17T04:02:54Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳（メタデータ） (2024-03-25T15:56:17Z) - Leveraging Neural Radiance Field in Descriptor Synthesis for Keypoints Scene Coordinate Regression [1.2974519529978974]
本稿では,Neural Radiance Field (NeRF) を用いたキーポイント記述子合成のためのパイプラインを提案する。
新たなポーズを生成してトレーニングされたNeRFモデルに入力して新しいビューを生成することで、当社のアプローチは、データスカース環境でのKSCRの機能を強化します。
提案システムは,最大50%のローカライズ精度向上を実現し,データ合成に要するコストをわずかに抑えることができた。
論文 参考訳（メタデータ） (2024-03-15T13:40:37Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。
我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。
ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文 参考訳（メタデータ） (2022-05-28T04:36:13Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein
GANs [1.0499611180329802]
実環境深度のリアルタイム推定は、様々な自律システムタスクにとって必須のモジュールである。
本研究では、生成型ニューラルネットワークの分野における最近の進歩を、教師なしの単一画像深度合成に活用する。
論文 参考訳（メタデータ） (2021-03-31T09:43:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。