論文の概要: Online,Target-Free LiDAR-Camera Extrinsic Calibration via Cross-Modal Mask Matching

• arxiv url: http://arxiv.org/abs/2404.18083v1
• Date: Sun, 28 Apr 2024 06:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 17:53:05.983207
• Title: Online,Target-Free LiDAR-Camera Extrinsic Calibration via Cross-Modal Mask Matching
• Title（参考訳）: クロスモーダルマスクマッチングによるオンライン・ターゲットフリーLiDAR-Camera Extrinsic Calibration
• Authors: Zhiwei Huang, Yikang Zhang, Qijun Chen, Rui Fan,
• Abstract要約: 我々はMIAS-LCECと呼ばれる新しいフレームワークを導入し、オープンソースの多目的キャリブレーションツールボックスを提供し、3つの実世界のデータセットをパブリッシュする。 我々のフレームワークとツールボックスの基盤は、最先端(SoTA)のLVMに基づいて開発されたクロスモーダルマスクマッチング(C3M)アルゴリズムである。
• 参考スコア（独自算出の注目度）: 16.13886663417327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LiDAR-camera extrinsic calibration (LCEC) is crucial for data fusion in intelligent vehicles. Offline, target-based approaches have long been the preferred choice in this field. However, they often demonstrate poor adaptability to real-world environments. This is largely because extrinsic parameters may change significantly due to moderate shocks or during extended operations in environments with vibrations. In contrast, online, target-free approaches provide greater adaptability yet typically lack robustness, primarily due to the challenges in cross-modal feature matching. Therefore, in this article, we unleash the full potential of large vision models (LVMs), which are emerging as a significant trend in the fields of computer vision and robotics, especially for embodied artificial intelligence, to achieve robust and accurate online, target-free LCEC across a variety of challenging scenarios. Our main contributions are threefold: we introduce a novel framework known as MIAS-LCEC, provide an open-source versatile calibration toolbox with an interactive visualization interface, and publish three real-world datasets captured from various indoor and outdoor environments. The cornerstone of our framework and toolbox is the cross-modal mask matching (C3M) algorithm, developed based on a state-of-the-art (SoTA) LVM and capable of generating sufficient and reliable matches. Extensive experiments conducted on these real-world datasets demonstrate the robustness of our approach and its superior performance compared to SoTA methods, particularly for the solid-state LiDARs with super-wide fields of view.
• Abstract（参考訳）: LiDAR-camera extrinsic calibration (LCEC) はインテリジェントな車両のデータ融合に不可欠である。 オフライン、ターゲットベースアプローチがこの分野で長年好まれてきた選択肢である。 しかし、現実の環境への適応性は低いことがしばしばある。 これは主に、中程度の衝撃や振動のある環境での長時間の操作により、外在パラメータが著しく変化する可能性があるためである。 対照的に、ターゲットレスのオンラインアプローチは、より適応性が高いが、主にクロスモーダルな特徴マッチングの課題のため、ロバスト性に欠ける。 そこで本稿では,コンピュータビジョンとロボティクス,特に具体的人工知能の分野で重要なトレンドとして浮上している大型ビジョンモデル(LVM)の可能性を解き明かし,様々な難題にまたがる,堅牢で正確なオンラインLCECを実現する。 私たちはMIAS-LCECと呼ばれる新しいフレームワークを導入し、インタラクティブな可視化インタフェースを備えたオープンソースの多目的キャリブレーションツールボックスを提供し、様々な屋内および屋外環境から取得した3つの実世界のデータセットを公開しました。 我々のフレームワークとツールボックスの基盤は、最先端(SoTA)のLVMに基づいて開発されたクロスモーダルマスクマッチング(C3M)アルゴリズムであり、十分かつ信頼性の高いマッチングを生成することができる。 これらの実世界のデータセットに対して行われた大規模な実験は、SoTA法と比較して、特に超広視野の固体LiDARに対して、我々のアプローチの堅牢性と優れた性能を示すものである。

関連論文リスト

• CrossFuse: Learning Infrared and Visible Image Fusion by Cross-Sensor Top-K Vision Alignment and Beyond [45.996901339560566]
  赤外線および可視画像融合(IVIF)は、ビデオ監視や自律運転システムといった重要な分野にますます応用されている。 マルチビュー拡張に基づく赤外線可視融合フレームワークを提案する。 本手法は, 実用化におけるIVIFタスクの信頼性と安定性を著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-20T12:19:30Z)
• Environment-Driven Online LiDAR-Camera Extrinsic Calibration [8.096139287822997]
  EdO-LCECは、人間のような適応性を実現する最初の環境駆動型オンラインキャリブレーションアプローチである。 人間のシステムにインスパイアされたEdO-LCECは、環境条件を積極的に解釈するために、一般化可能なシーン識別装置を組み込んでいる。 本手法は空間時間共同最適化問題としてキャリブレーション過程を定式化する。
  論文  参考訳（メタデータ） (2025-02-02T13:52:35Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• MObI: Multimodal Object Inpainting Using Diffusion Models [52.07640413626605]
  マルチモーダル・オブジェクト・インペイントのための新しいフレームワークであるMObIを紹介する。 単一の参照RGBイメージを使用して、MObIは既存のマルチモーダルシーンにオブジェクトをシームレスに挿入できる。 マスクの編集だけに頼っている従来の塗り絵とは違って、3Dバウンディングボックスコンディショニングは、オブジェクトの正確な空間的位置決めとリアルなスケーリングを可能にします。
  論文  参考訳（メタデータ） (2025-01-06T17:43:26Z)
• Scalable Offline Reinforcement Learning for Mean Field Games [6.8267158622784745]
  Off-MMDは、純粋なオフラインデータを用いて平均フィールドゲームにおける平衡ポリシーを近似する新しい平均フィールドRLアルゴリズムである。 我々のアルゴリズムは複雑な環境にスケールし、群衆探索やナビゲーションといったベンチマークタスクで強いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-23T14:16:34Z)
• RADAR: Robust Two-stage Modality-incomplete Industrial Anomaly Detection [61.71770293720491]
  本稿では,2段階のロバスト・モードアリティ不完全融合とFlaAmewoRkの検出について提案する。 我々のブートストラッピング哲学は、MIIADの2段階を強化し、マルチモーダルトランスの堅牢性を向上させることである。 実験の結果,提案手法は従来のMIAD法よりも有効性とロバスト性に優れていた。
  論文  参考訳（メタデータ） (2024-10-02T16:47:55Z)
• Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection [38.809645060899065]
  カメラとLiDARは、正確で堅牢な自動運転システムの情報センサーとして機能する。 これらのセンサーは、しばしば異質な性質を示し、分布のモダリティギャップをもたらす。 モーダル分布の整合と効果的なモーダル表現の学習を目的とした動的調整技術を導入する。
  論文  参考訳（メタデータ） (2024-07-22T02:42:15Z)
• SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation On Diverse Modalities [55.87169702896249]
  Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。 本稿では,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの完全かつ公平な評価を行う。 本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-07-16T12:52:29Z)
• LiveHPS: LiDAR-based Scene-level Human Pose and Shape Estimation in Free Environment [59.320414108383055]
  シーンレベルの人間のポーズと形状推定のための単一LiDARに基づく新しいアプローチであるLiveHPSを提案する。 多様な人間のポーズを伴う様々なシナリオで収集される巨大な人間の動きデータセットFreeMotionを提案する。
  論文  参考訳（メタデータ） (2024-02-27T03:08:44Z)
• Gait Recognition in Large-scale Free Environment via Single LiDAR [35.684257181154905]
  深度を捉えるLiDARの能力は、ロボットの知覚にとって重要な要素であり、現実世界の歩行認識の可能性を秘めている。 本稿では,頑健な歩行認識のための階層型多表現特徴相互作用ネットワーク(HMRNet)を提案する。 LiDARに基づく歩行認識研究を容易にするため,大規模かつ制約のない歩行データセットであるFreeGaitを紹介した。
  論文  参考訳（メタデータ） (2022-11-22T16:05:58Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。