論文の概要: CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations

• arxiv url: http://arxiv.org/abs/2209.01194v4
• Date: Tue, 4 Apr 2023 17:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 10:49:24.065713
• Title: CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations
• Title（参考訳）: CLONeR:Occupancy Grid-Aided Neural Representationのためのカメラライダーフュージョン
• Authors: Alexandra Carlson, Manikandasriram Srinivasan Ramanagopal, Nathan Tseng, Matthew Johnson-Roberson, Ram Vasudevan, Katherine A. Skinner
• Abstract要約: 本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
• 参考スコア（独自算出の注目度）: 77.90883737693325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in neural radiance fields (NeRFs) achieve state-of-the-art novel view synthesis and facilitate dense estimation of scene properties. However, NeRFs often fail for large, unbounded scenes that are captured under very sparse views with the scene content concentrated far away from the camera, as is typical for field robotics applications. In particular, NeRF-style algorithms perform poorly: (1) when there are insufficient views with little pose diversity, (2) when scenes contain saturation and shadows, and (3) when finely sampling large unbounded scenes with fine structures becomes computationally intensive. This paper proposes CLONeR, which significantly improves upon NeRF by allowing it to model large outdoor driving scenes that are observed from sparse input sensor views. This is achieved by decoupling occupancy and color learning within the NeRF framework into separate Multi-Layer Perceptrons (MLPs) trained using LiDAR and camera data, respectively. In addition, this paper proposes a novel method to build differentiable 3D Occupancy Grid Maps (OGM) alongside the NeRF model, and leverage this occupancy grid for improved sampling of points along a ray for volumetric rendering in metric space. Through extensive quantitative and qualitative experiments on scenes from the KITTI dataset, this paper demonstrates that the proposed method outperforms state-of-the-art NeRF models on both novel view synthesis and dense depth prediction tasks when trained on sparse input data.
• Abstract（参考訳）: ニューラルラジアンス場(NeRF)の最近の進歩は、最先端の斬新なビュー合成を実現し、シーン特性の高密度な推定を容易にする。 しかし、NeRFは、フィールドロボティクスの応用に典型的なように、カメラから遠ざかるシーンコンテンツで、非常に狭い視野で撮影される、大きくて無界なシーンでは失敗することが多い。 特に、nerf方式のアルゴリズムは、(1)ポーズの多様性が乏しいビューが不足している場合、(2)シーンが飽和と影を含んでいる場合、(3)微細な構造を持つ大きなアンバウンドシーンを微細にサンプリングする場合には計算集約的になる。 本稿では,スパーク入力センサビューから観測される大規模な屋外走行シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps (OGM) を構築するための新しい手法を提案し,この占有網を利用して距離空間におけるボリュームレンダリングのための線に沿った点のサンプリングを改善する。 提案手法は,KITTIデータセットから得られたシーンの定量的および定性的な実験を通じて,スパース入力データを用いたトレーニングにおいて,新しいビュー合成および深度予測タスクにおいて,最先端のNeRFモデルよりも優れた性能を示すことを示す。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments [3.1969023045814753]
  親子ニューラルレイディアンス場(PC-NeRF)と呼ばれる3次元シーン再構成と新しいビュー合成フレームワークを提案する。 PC-NeRFは、シーン、セグメント、ポイントレベルを含む階層的な空間分割とマルチレベルシーン表現を実装している。 広範にわたる実験により,PC-NeRFは大規模シーンにおける高精度なLiDARビュー合成と3次元再構成を実現することが証明された。
  論文  参考訳（メタデータ） (2024-02-14T17:16:39Z)
• rpcPRF: Generalizable MPI Neural Radiance Field for Satellite Camera [0.76146285961466]
  本稿では,多面体画像(MPI)を用いたRPO(Rational Polynomial Camera)のための平面神経放射場rpcPRFを提案する。 本稿では,3次元座標と画像の間の正確な形状を学習するために,予測されたMPIを誘導するために再投影監視を利用する。 我々は、放射場の描画技術を導入することにより、深層多視点ステレオ法から密集深度監視の厳密な要求を取り除いた。
  論文  参考訳（メタデータ） (2023-10-11T04:05:11Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• Mip-NeRF RGB-D: Depth Assisted Fast Neural Radiance Fields [0.696125353550498]
  ニューラルレイディアンスフィールド(NeRF)のようなニューラルシーン表現は、既知のポーズを持つカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいている。 今や多くのデバイスがRGB-D情報を生成しており、これは幅広いタスクにおいて非常に重要であることが示されている。 本稿では,色画像に深度情報を組み込むことにより,これらの有望な暗示表現にどのような改善をもたらすかを検討する。
  論文  参考訳（メタデータ） (2022-05-19T07:11:42Z)
• Enhancement of Novel View Synthesis Using Omnidirectional Image Completion [61.78187618370681]
  ニューラルレイディアンス場(NeRF)に基づく1枚の360度RGB-D画像から新しいビューを合成する方法を提案する。 実験により,提案手法は実世界と実世界の両方でシーンの特徴を保ちながら,可塑性な新規なビューを合成できることが実証された。
  論文  参考訳（メタデータ） (2022-03-18T13:49:25Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。