論文の概要: Mip-NeRF RGB-D: Depth Assisted Fast Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2205.09351v1
• Date: Thu, 19 May 2022 07:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 14:02:47.939227
• Title: Mip-NeRF RGB-D: Depth Assisted Fast Neural Radiance Fields
• Title（参考訳）: Mip-NeRF RGB-D:深度支援高速神経放射場
• Authors: Arnab Dey, Yassine Ahmine, Andrew I. Comport
• Abstract要約: ニューラルレイディアンスフィールド(NeRF)のようなニューラルシーン表現は、既知のポーズを持つカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいている。 今や多くのデバイスがRGB-D情報を生成しており、これは幅広いタスクにおいて非常に重要であることが示されている。 本稿では,色画像に深度情報を組み込むことにより,これらの有望な暗示表現にどのような改善をもたらすかを検討する。
• 参考スコア（独自算出の注目度）: 0.696125353550498
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural scene representations, such as neural radiance fields (NeRF), are based on training a multilayer perceptron (MLP) using a set of color images with known poses. An increasing number of devices now produce RGB-D information, which has been shown to be very important for a wide range of tasks. Therefore, the aim of this paper is to investigate what improvements can be made to these promising implicit representations by incorporating depth information with the color images. In particular, the recently proposed Mip-NeRF approach, which uses conical frustums instead of rays for volume rendering, allows one to account for the varying area of a pixel with distance from the camera center. The proposed method additionally models depth uncertainty. This allows to address major limitations of NeRF-based approaches including improving the accuracy of geometry, reduced artifacts, faster training time, and shortened prediction time. Experiments are performed on well-known benchmark scenes, and comparisons show improved accuracy in scene geometry and photometric reconstruction, while reducing the training time by 3 - 5 times.
• Abstract（参考訳）: ニューラルレイディアンスフィールド(NeRF)のようなニューラルシーン表現は、既知のポーズを持つカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいている。 多くのデバイスがrgb-d情報を生成しており、これは幅広いタスクで非常に重要であることが示されている。 そこで本研究では,色画像に深度情報を組み込むことにより,これらの有望な暗黙表現にどのような改善をもたらすかを検討する。 特に、最近提案されたMip-NeRFアプローチでは、ボリュームレンダリングに光線の代わりに円錐状のフラストラムを用いることで、カメラ中心からの距離の異なるピクセルの領域を考慮できる。 提案手法はさらに深度不確かさをモデル化する。 これにより、幾何の精度の向上、アーティファクトの削減、トレーニング時間の短縮、予測時間の短縮など、NeRFベースのアプローチの大きな制限に対処できる。 有名なベンチマークシーンで実験を行い、比較によりシーン形状と測光再構成の精度が向上し、トレーニング時間を3～5倍に短縮した。

関連論文リスト

• Neural Radiance Fields with Torch Units [19.927273454898295]
  学習に基づく3D再構成法は産業用途に広く用いられている。 本稿では,よりコンテキスト情報を持つ単一カメラ光線を奨励する新しい推論パターンを提案する。 トーチライトとして、画像のパッチを描画する手法の光線を要約するため、提案手法をTorch-NeRFと呼ぶ。
  論文  参考訳（メタデータ） (2024-04-03T10:08:55Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models [5.255302402546892]
  デノナイジング拡散モデル(DDM)を用いてシーン形状と色に関する事前学習を行う。 これらのRGBDパッチの対数勾配は、シーンの幾何や色を規則化するのに役立ちます。 最も関連性の高いデータセットであるLLFFの評価は、我々の学習前は、再構成された幾何学の質の向上と、新しいビューの改善を実現していることを示している。
  論文  参考訳（メタデータ） (2023-02-23T18:52:28Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• RGB-D Neural Radiance Fields: Local Sampling for Faster Training [0.8223798883838329]
  神経放射場(NeRF)を用いた画像からの暗黙的神経表現の最近の進歩は有望な結果を示している。 以前のNeRFベースの手法のいくつかの制限は、長いトレーニング時間と、基礎となる幾何の不正確さである。 本稿では,より高速なトレーニング時間を実現するために,深度誘導型局所サンプリング戦略とより小さなニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-26T11:31:35Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。