論文の概要: OmniColor: A Global Camera Pose Optimization Approach of LiDAR-360Camera Fusion for Colorizing Point Clouds
- arxiv url: http://arxiv.org/abs/2404.04693v2
- Date: Thu, 26 Sep 2024 13:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:26:10.498086
- Title: OmniColor: A Global Camera Pose Optimization Approach of LiDAR-360Camera Fusion for Colorizing Point Clouds
- Title（参考訳）: OmniColor: 点雲のカラー化のためのLiDAR-360Camera Fusionのグローバルカメラポース最適化手法
- Authors: Bonan Liu, Guoyang Zhao, Jianhao Jiao, Guang Cai, Chengyang Li, Handi Yin, Yuyang Wang, Ming Liu, Pan Hui,
- Abstract要約: 単純で効率的な3D表現としてのカラーポイントクラウドは、様々な分野において多くの利点がある。
本稿では,独立系360度カメラを用いて点雲をカラー化するための,新規で効率的なアルゴリズムであるOmniColorを提案する。
- 参考スコア（独自算出の注目度）: 15.11376768491973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Colored point cloud, as a simple and efficient 3D representation, has many advantages in various fields, including robotic navigation and scene reconstruction. This representation is now commonly used in 3D reconstruction tasks relying on cameras and LiDARs. However, fusing data from these two types of sensors is poorly performed in many existing frameworks, leading to unsatisfactory mapping results, mainly due to inaccurate camera poses. This paper presents OmniColor, a novel and efficient algorithm to colorize point clouds using an independent 360-degree camera. Given a LiDAR-based point cloud and a sequence of panorama images with initial coarse camera poses, our objective is to jointly optimize the poses of all frames for mapping images onto geometric reconstructions. Our pipeline works in an off-the-shelf manner that does not require any feature extraction or matching process. Instead, we find optimal poses by directly maximizing the photometric consistency of LiDAR maps. In experiments, we show that our method can overcome the severe visual distortion of omnidirectional images and greatly benefit from the wide field of view (FOV) of 360-degree cameras to reconstruct various scenarios with accuracy and stability. The code will be released at https://github.com/liubonan123/OmniColor/.
- Abstract（参考訳）: シンプルで効率的な3D表現としてのカラーポイントクラウドは、ロボットナビゲーションやシーン再構築など、さまざまな分野で多くの利点がある。
この表現は、カメラとLiDARに依存する3D再構成タスクで一般的に使用されている。
しかし、これらの2種類のセンサーからのデータを融合することは、多くの既存のフレームワークでは不十分であり、主に不正確なカメラのポーズのために不満足なマッピング結果をもたらす。
本稿では,独立系360度カメラを用いて点雲をカラー化するための,新規で効率的なアルゴリズムであるOmniColorを提案する。
LiDARをベースとした点雲と、初期粗いカメラポーズによるパノラマ画像の連続を考慮し、画像の幾何再構成へのマッピングのために、すべてのフレームのポーズを協調的に最適化することを目的とする。
当社のパイプラインは、機能抽出やマッチングプロセスを必要としない、既定の方法で動作します。
代わりに、LiDAR写像の測光一貫性を直接最大化することで最適なポーズを求める。
実験では,全方位画像の難解な視覚歪みを克服し,360度カメラの広視野視野(FOV)の利点を大いに生かし,精度と安定性で様々なシナリオを再構築できることを示した。
コードはhttps://github.com/liubonan123/OmniColor/でリリースされる。
関連論文リスト
- SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild [76.21063993398451]
制約のない画像コレクションに基づくオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける長年の課題である。
マルチレゾリューションハッシュ符号化に基づく暗黙の形状表現により,高速かつ堅牢な形状復元が可能となることを示す。
本手法はクラス非依存であり,3Dアセットを生成するために,オブジェクトのWildイメージコレクションで動作する。
論文 参考訳（メタデータ） (2024-01-18T18:01:19Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳（メタデータ） (2023-10-25T17:59:01Z) - TriVol: Point Cloud Rendering via Triple Volumes [57.305748806545026]
我々は,高密度かつ軽量な3D表現であるTriVolをNeRFと組み合わせて,点雲から写実的な画像を描画する。
我々のフレームワークは、微調整なしでシーン/オブジェクトのカテゴリを描画できる優れた一般化能力を持っている。
論文 参考訳（メタデータ） (2023-03-29T06:34:12Z) - Point2Pix: Photo-Realistic Point Cloud Rendering via Neural Radiance
Fields [63.21420081888606]
最近の放射場と拡張法は、2次元入力から現実的な画像を合成するために提案されている。
我々は3次元スパース点雲と2次元高密度画像画素を結びつけるための新しい点としてPoint2Pixを提示する。
論文 参考訳（メタデータ） (2023-03-29T06:26:55Z) - Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [53.93172686610741]
Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。
2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。
我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
論文 参考訳（メタデータ） (2022-12-01T15:11:21Z) - Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文 参考訳（メタデータ） (2022-02-28T15:11:25Z) - ADOP: Approximate Differentiable One-Pixel Point Rendering [7.69748487650283]
本稿では,シーンリファインメントと新しいビュー合成のための点ベース,微分可能なニューラルレンダリングパイプラインを提案する。
我々は,既存のアプローチよりもシャープで一貫した新しいビューを合成できることを実証した。
論文 参考訳（メタデータ） (2021-10-13T10:55:39Z) - PICCOLO: Point Cloud-Centric Omnidirectional Localization [20.567452635590943]
一方向局所化のための単純かつ効率的なアルゴリズムであるPICCOLOを提案する。
私たちのパイプラインは、クエリとして与えられた単一のイメージで、既定の方法で動作します。
PICCOLOは、様々な環境で評価された場合、既存の全方位ローカライゼーションアルゴリズムよりも精度と安定性が優れている。
論文 参考訳（メタデータ） (2021-08-14T14:19:37Z) - Real-time dense 3D Reconstruction from monocular video data captured by
low-cost UAVs [0.3867363075280543]
リアルタイム3d再構築は,ナビゲーションや緊急時のライブ評価など,多数のアプリケーションにメリットがある環境の高速密マッピングを可能にする。
ほとんどのリアルタイム対応のアプローチとは対照的に、我々のアプローチは明示的な深度センサーを必要としない。
建物周辺を斜め視で飛行する無人航空機(UAV)の自己動作を利用して、選択された画像のカメラ軌道と深度の両方を、十分な新規な内容で推定します。
論文 参考訳（メタデータ） (2021-04-21T13:12:17Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z) - Learning Precise 3D Manipulation from Multiple Uncalibrated Cameras [13.24490469380487]
本稿では,3次元な精密な操作タスクをエンド・ツー・エンドで学習するための効果的なマルチビュー手法を提案する。
提案手法は,ポイントクラウドやボクセルグリッドのような明示的な3D表現を構築することなく,静的に配置された複数のRGBカメラビューを用いて,これらのタスクを達成できることを学習する。
論文 参考訳（メタデータ） (2020-02-21T03:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。