Fugu-MT 論文翻訳(概要): BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives

論文の概要: BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives

arxiv url: http://arxiv.org/abs/2306.04166v3
Date: Fri, 4 Aug 2023 17:36:36 GMT
ステータス: 処理完了
システム内更新日: 2023-08-07 15:30:04.093310
Title: BAA-NGP: Bundle-Adjusting Accelerated Neural Graphics Primitives
Title（参考訳）: baa-ngp:バンドル調整型高速化ニューラルグラフィックスプリミティブ
Authors: Sainan Liu, Shan Lin, Jingpei Lu, Shreya Saha, Alexey Supikov, Michael Yip
Abstract要約: 2次元画像から3次元シーンを再構成する強力な手法として、暗黙の神経表現が登場した。本稿では,バンドル調整型高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。提案手法は, 高速化サンプリングとハッシュ符号化を利用して, 精細化/推定と3次元シーン再構成の両方を高速化する。
参考スコア（独自算出の注目度）: 6.0934694665969555
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Implicit neural representation has emerged as a powerful method for reconstructing 3D scenes from 2D images. Given a set of camera poses and associated images, the models can be trained to synthesize novel, unseen views. In order to expand the use cases for implicit neural representations, we need to incorporate camera pose estimation capabilities as part of the representation learning, as this is necessary for reconstructing scenes from real-world video sequences where cameras are generally not being tracked. Existing approaches like COLMAP and, most recently, bundle-adjusting neural radiance field methods often suffer from lengthy processing times. These delays ranging from hours to days, arise from laborious feature matching, hardware limitations, dense point sampling, and long training times required by a multi-layer perceptron structure with a large number of parameters. To address these challenges, we propose a framework called bundle-adjusting accelerated neural graphics primitives (BAA-NGP). Our approach leverages accelerated sampling and hash encoding to expedite both pose refinement/estimation and 3D scene reconstruction. Experimental results demonstrate that our method achieves a more than 10 to 20 $\times$ speed improvement in novel view synthesis compared to other bundle-adjusting neural radiance field methods without sacrificing the quality of pose estimation. The github repository can be found here https://github.com/IntelLabs/baa-ngp.
Abstract（参考訳）: 暗黙的な神経表現は、2d画像から3dシーンを再構築する強力な方法として現れた。カメラのポーズと関連する画像をセットすれば、モデルは新しく見えないビューを合成するように訓練することができる。暗黙的な神経表現のユースケースを広げるためには,カメラが一般的に追跡されていない実世界の映像列からシーンを再構築するために必要な表現学習の一環として,カメラのポーズ推定機能を組み込む必要がある。 colmapのような既存のアプローチや、最近では、バンドル調整ニューラルラミアンスフィールドメソッドは、しばしば長い処理時間に苦しむ。これらの遅延は、時間から日、面倒な特徴マッチング、ハードウェアの制限、高密度点サンプリング、そして多数のパラメータを持つ多層パーセプトロン構造で必要とされる長い訓練時間から生じる。これらの課題に対処するため,バンドル調整高速化ニューラルネットワークプリミティブ(BAA-NGP)というフレームワークを提案する。提案手法は,ポーズリファインメント/推定と3次元シーン再構成の両方を高速化するために,サンプリングとハッシュエンコーディングを高速化する。実験により,提案手法は,ポーズ推定の品質を犠牲にすることなく,他のバンドル調整型ニューラルラディアンス場法と比較して,新しいビュー合成における10～20ドル以上の速度向上を実現していることが示された。 githubリポジトリはhttps://github.com/IntelLabs/baa-ngp.comにある。

関連論文リスト

Hybrid bundle-adjusting 3D Gaussians for view consistent rendering with pose optimization [2.8990883469500286]
本稿では,ポーズ最適化によるビュー一貫性レンダリングを実現するハイブリッドなバンドル調整3Dガウスモデルを提案する。このモデルは、画像ベースとニューラルな3D表現を共同で抽出し、前方のシーン内でビュー一貫性のある画像とカメラのポーズを同時に生成する。
論文参考訳（メタデータ） (2024-10-17T07:13:00Z)
BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream [11.183799667913815]
一つのぼやけた画像とそれに対応するイベントストリームからニューラル放射場(NeRF)を復元する可能性を示す。本手法は暗黙的なニューラルシーンの表現を共同で学習し,カメラの動きを復元する。
論文参考訳（メタデータ） (2024-07-02T11:28:22Z)
DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
COLMAP-Free 3D Gaussian Splatting [88.420322646756]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2023-12-12T18:39:52Z)
Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文参考訳（メタデータ） (2023-05-03T17:56:01Z)
NSLF-OL: Online Learning of Neural Surface Light Fields alongside Real-time Incremental 3D Reconstruction [0.76146285961466]
そこで本研究では,視線方向の小さな方向に対応できるニューラルサーフェス光場モデルを提案する。我々のモデルは、リアルタイムな3次元再構成の他に、シーケンシャルなデータストリームを共有入力として、ニューラルネットワーク光場(NSLF)をオンラインで学習する。オンライントレーニングに加えて、可視化のためにデータストリームを完了した後のリアルタイムレンダリングも提供する。
論文参考訳（メタデータ） (2023-04-29T15:41:15Z)
HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。テスト時,本手法は単眼のRGBビデオによって駆動される。
論文参考訳（メタデータ） (2023-03-25T13:56:33Z)
Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文参考訳（メタデータ） (2022-04-22T03:17:35Z)
ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
論文参考訳（メタデータ） (2022-03-18T21:08:23Z)
BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文参考訳（メタデータ） (2021-04-13T17:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。