論文の概要: INF: Implicit Neural Fusion for LiDAR and Camera

• arxiv url: http://arxiv.org/abs/2308.14414v1
• Date: Mon, 28 Aug 2023 08:51:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 14:39:43.035469
• Title: INF: Implicit Neural Fusion for LiDAR and Camera
• Title（参考訳）: INF:LiDARとカメラのための神経核融合
• Authors: Shuyi Zhou, Shuxiang Xie, Ryoichi Ishikawa, Ken Sakurada, Masaki Onishi, Takeshi Oishi
• Abstract要約: 本稿では,LiDARとカメラのためのインプシットニューラルフュージョン(INF)を提案する。 INFはまず、LiDARフレームを使用してターゲットシーンの神経密度場をトレーニングする。 次に、カメラ画像とトレーニングされたニューラル密度場を用いて、別個のニューラルカラーフィールドをトレーニングする。
• 参考スコア（独自算出の注目度）: 7.123895040455239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sensor fusion has become a popular topic in robotics. However, conventional fusion methods encounter many difficulties, such as data representation differences, sensor variations, and extrinsic calibration. For example, the calibration methods used for LiDAR-camera fusion often require manual operation and auxiliary calibration targets. Implicit neural representations (INRs) have been developed for 3D scenes, and the volume density distribution involved in an INR unifies the scene information obtained by different types of sensors. Therefore, we propose implicit neural fusion (INF) for LiDAR and camera. INF first trains a neural density field of the target scene using LiDAR frames. Then, a separate neural color field is trained using camera images and the trained neural density field. Along with the training process, INF both estimates LiDAR poses and optimizes extrinsic parameters. Our experiments demonstrate the high accuracy and stable performance of the proposed method.
• Abstract（参考訳）: センサー融合はロボティクスにおいて一般的な話題となっている。 しかし,従来の融合法では,データ表現の違い,センサの変動,外因性キャリブレーションなど,多くの困難に直面している。 例えば、LiDAR-カメラ融合に使用されるキャリブレーション法は手動操作と補助キャリブレーションターゲットを必要とすることが多い。 Inlicit Neural representations (INR) は3次元シーン向けに開発されており、INRに関わる体積密度分布は、異なる種類のセンサーによって得られたシーン情報を統一する。 そこで我々は,LiDARとカメラのための暗黙的ニューラルフュージョン(INF)を提案する。 INFはまず、LiDARフレームを使用してターゲットシーンの神経密度場をトレーニングする。 そして、カメラ画像と訓練された神経密度フィールドを用いて、別個の神経色フィールドを訓練する。 INFはトレーニングプロセスとともに、LiDARのポーズを推定し、外部パラメータを最適化する。 本実験は,提案手法の高精度かつ安定した性能を示すものである。

関連論文リスト

• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields [46.186869281594326]
  ニューラルレイディアンスフィールド(NeRF)のための新しいローリングシャッター束調整法を提案する。 我々は、無秩序なローリングシャッター(RS)画像を用いて、暗黙の3D表現を得る。
  論文  参考訳（メタデータ） (2024-03-15T09:08:27Z)
• CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration [9.693729708337125]
  CMRNextはカメラ-LIDARマッチングの新しいアプローチであり、センサー固有のパラメータとは独立しており、一般化可能であり、野生で使用することができる。 3つの公開データセットと3つの社内ロボットを含む6つの異なるロボットプラットフォーム上でCMRNextを広範囲に評価した。
  論文  参考訳（メタデータ） (2024-01-31T19:14:12Z)
• Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
  我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。 レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
  論文  参考訳（メタデータ） (2023-10-10T20:11:13Z)
• UnLoc: A Universal Localization Method for Autonomous Vehicles using LiDAR, Radar and/or Camera Input [51.150605800173366]
  UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。 本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
  論文  参考訳（メタデータ） (2023-07-03T04:10:55Z)
• UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
  我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。 本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-19T16:26:25Z)
• Multi-task Learning for Camera Calibration [3.274290296343038]
  一対の画像から内在性(主点オフセットと焦点長)と外因性(ベースライン,ピッチ,翻訳)を予測できるユニークな手法を提案する。 カメラモデルニューラルネットワークを用いて3Dポイントを再構成し、再構成の損失を利用してカメラ仕様を得ることにより、この革新的なカメラ投影損失(CPL)法により、所望のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-11-22T17:39:31Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• RVMDE: Radar Validated Monocular Depth Estimation for Robotics [5.360594929347198]
  両眼視センサの固有剛性校正は正確な深度推定に不可欠である。 あるいは、単眼カメラは、深度推定の精度を犠牲にして制限を緩和し、厳しい環境条件下では課題が悪化する。 本研究は, 環境条件下での深度推定のために, 単眼カメラの細粒度データと融合した場合のレーダーからの粗い信号の有用性について検討する。
  論文  参考訳（メタデータ） (2021-09-11T12:02:29Z)
• CalibDNN: Multimodal Sensor Calibration for Perception Using Deep Neural Networks [27.877734292570967]
  本稿では,マルチモーダルセンサ,特にLiDAR-Cameraペア間の正確な校正のための新しいディープラーニング駆動技術(CalibDNN)を提案する。 全体の処理は、単一のモデルと単一のイテレーションで完全に自動です。 異なる手法と異なるデータセットに対する広範な実験の結果は、最先端の性能を示している。
  論文  参考訳（メタデータ） (2021-03-27T02:43:37Z)
• Learning Camera Miscalibration Detection [83.38916296044394]
  本稿では,視覚センサ,特にRGBカメラの誤校正検出を学習するためのデータ駆動型アプローチに焦点を当てた。 コントリビューションには、RGBカメラの誤校正基準と、この基準に基づく新しい半合成データセット生成パイプラインが含まれる。 深層畳み込みニューラルネットワークをトレーニングすることにより、カメラ固有のパラメータの再校正が必要か否かを判断するパイプラインの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-24T10:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。