論文の概要: Robust Self-Supervised Extrinsic Self-Calibration

• arxiv url: http://arxiv.org/abs/2308.02153v2
• Date: Mon, 7 Aug 2023 02:33:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 10:45:00.850528
• Title: Robust Self-Supervised Extrinsic Self-Calibration
• Title（参考訳）: ロバストな自己教師付きextrinsic self-calibration
• Authors: Takayuki Kanai, Igor Vasiljevic, Vitor Guizilini, Adrien Gaidon, and Rares Ambrus
• Abstract要約: マルチカメラによるビデオからの単眼深度推定は、環境を判断する上で有望な方法である。 本稿では,自己教師型単眼深度と自我運動学習の原理を基礎として,外因性キャリブレーションの新たな手法を提案する。
• 参考スコア（独自算出の注目度）: 25.727912226753247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous vehicles and robots need to operate over a wide variety of scenarios in order to complete tasks efficiently and safely. Multi-camera self-supervised monocular depth estimation from videos is a promising way to reason about the environment, as it generates metrically scaled geometric predictions from visual data without requiring additional sensors. However, most works assume well-calibrated extrinsics to fully leverage this multi-camera setup, even though accurate and efficient calibration is still a challenging problem. In this work, we introduce a novel method for extrinsic calibration that builds upon the principles of self-supervised monocular depth and ego-motion learning. Our proposed curriculum learning strategy uses monocular depth and pose estimators with velocity supervision to estimate extrinsics, and then jointly learns extrinsic calibration along with depth and pose for a set of overlapping cameras rigidly attached to a moving vehicle. Experiments on a benchmark multi-camera dataset (DDAD) demonstrate that our method enables self-calibration in various scenes robustly and efficiently compared to a traditional vision-based pose estimation pipeline. Furthermore, we demonstrate the benefits of extrinsics self-calibration as a way to improve depth prediction via joint optimization.
• Abstract（参考訳）: 自動運転車とロボットは、効率的に安全にタスクを完了するために、さまざまなシナリオで運用する必要があります。 ビデオからのマルチカメラによる自己監督された単眼深度推定は、追加のセンサーを必要とせず、視覚データから測度的にスケールした幾何学的予測を生成するため、環境を判断するための有望な方法である。 しかし、ほとんどの作品は、精度と効率のよいキャリブレーションが依然として難しい問題であるにもかかわらず、このマルチカメラの設定を十分に活用するために、高度にキャリブレーションされたextrinsicsを仮定している。 本研究では,自己教師型単眼深度と自我運動学習の原理に基づく外因性キャリブレーションの新しい手法を提案する。 提案するカリキュラム学習戦略は, 単眼深度と速度監督を用いた推定器を用いて外在的キャリブレーションを推定し, 奥行きとともに外在的キャリブレーションを共同で学習し, 移動車に厳密に取り付けた重なり合うカメラセットの撮影を行う。 ベンチマーク・マルチカメラ・データセット(DDAD)を用いた実験では,従来の視覚に基づくポーズ推定パイプラインと比較して,様々な場面での自己校正が可能であった。 さらに,共同最適化による深度予測を改善する方法として,外部自己校正の利点を示す。

関連論文リスト

• VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
  ポースグラフ最適化手法を拡張する新しい手法を提案する。 我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。 我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
  論文  参考訳（メタデータ） (2024-03-25T17:47:03Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation [45.59727643007449]
  本稿では,自己監督型マルチカメラ深度推定の効率と精度を向上させる新しい注意アーキテクチャであるEGA-Depthを提案する。 それぞれのカメラに対して、そのビュービューをクエリとして、近隣のビューを相互参照して、このカメラビューに対する情報的特徴を導出する。
  論文  参考訳（メタデータ） (2023-04-06T20:50:28Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
  教師なし単眼深度と自我運動推定は近年広く研究されている。 我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。 我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-11T07:50:22Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
  汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。 提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
  論文  参考訳（メタデータ） (2021-12-06T19:42:05Z)
• Full Surround Monodepth from Multiple Cameras [31.145598985137468]
  自己監督単眼深度と自我運動推定を大型フォトベースラインマルチカメラリグに拡張します。 私たちは、典型的なLiDARスキャナーと同じ全周360度の視野をカバーする、高密度で一貫性のあるスケールアウェアポイントクラウドを生成する単一のネットワークを学びます。
  論文  参考訳（メタデータ） (2021-03-31T22:52:04Z)
• Infrastructure-based Multi-Camera Calibration using Radial Projections [117.22654577367246]
  パターンベースのキャリブレーション技術は、カメラの内在を個別にキャリブレーションするために使用することができる。 Infrastucture-based calibration techniqueはSLAMやStructure-from-Motionで事前に構築した3Dマップを用いて外部情報を推定することができる。 本稿では,インフラストラクチャベースのアプローチを用いて,マルチカメラシステムをスクラッチから完全にキャリブレーションすることを提案する。
  論文  参考訳（メタデータ） (2020-07-30T09:21:04Z)
• DFVS: Deep Flow Guided Scene Agnostic Image Based Visual Servoing [11.000164408890635]
  既存のディープラーニングベースのビジュアルサーボアプローチは、画像間の相対カメラのポーズを後退させる。 我々は、深層ニューラルネットワークを用いて予測される視覚的特徴として光学的流れを考察する。 2cm以下と1度以下の正確な位置を維持しながら3m以上40度以上の収束性を示した。
  論文  参考訳（メタデータ） (2020-03-08T11:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。