論文の概要: Towards Viewpoint Robustness in Bird's Eye View Segmentation
- arxiv url: http://arxiv.org/abs/2309.05192v1
- Date: Mon, 11 Sep 2023 02:10:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 14:09:34.069671
- Title: Towards Viewpoint Robustness in Bird's Eye View Segmentation
- Title（参考訳）: 鳥眼セグメンテーションにおける視点ロバスト性に向けて
- Authors: Tzofi Klinghoffer, Jonah Philion, Wenzheng Chen, Or Litany, Zan
Gojcic, Jungseock Joo, Ramesh Raskar, Sanja Fidler, Jose M. Alvarez
- Abstract要約: AV知覚モデルがカメラ視点の変化にどのように影響するかを考察する。
投機時のピッチ、ヨー、深さ、高さへの小さな変化は、大きな性能低下につながる。
本稿では,新しいビュー合成技術を導入し,収集したデータをターゲットリグの視点に変換する手法を提案する。
- 参考スコア（独自算出の注目度）: 85.99907496019972
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autonomous vehicles (AV) require that neural networks used for perception be
robust to different viewpoints if they are to be deployed across many types of
vehicles without the repeated cost of data collection and labeling for each. AV
companies typically focus on collecting data from diverse scenarios and
locations, but not camera rig configurations, due to cost. As a result, only a
small number of rig variations exist across most fleets. In this paper, we
study how AV perception models are affected by changes in camera viewpoint and
propose a way to scale them across vehicle types without repeated data
collection and labeling. Using bird's eye view (BEV) segmentation as a
motivating task, we find through extensive experiments that existing perception
models are surprisingly sensitive to changes in camera viewpoint. When trained
with data from one camera rig, small changes to pitch, yaw, depth, or height of
the camera at inference time lead to large drops in performance. We introduce a
technique for novel view synthesis and use it to transform collected data to
the viewpoint of target rigs, allowing us to train BEV segmentation models for
diverse target rigs without any additional data collection or labeling cost. To
analyze the impact of viewpoint changes, we leverage synthetic data to mitigate
other gaps (content, ISP, etc). Our approach is then trained on real data and
evaluated on synthetic data, enabling evaluation on diverse target rigs. We
release all data for use in future work. Our method is able to recover an
average of 14.7% of the IoU that is otherwise lost when deploying to new rigs.
- Abstract（参考訳）: 自動運転車(av)は、知覚に使用されるニューラルネットワークが、データ収集とラベル付けの繰り返しコストなしで、さまざまな種類の車両にデプロイされる場合、異なる視点で堅牢であることを要求する。
av企業は通常、さまざまなシナリオや場所からデータを収集するが、コストのためにカメラリグの設定はしない。
その結果、ほとんどの艦隊で少数のリグのバリエーションしか存在しない。
本稿では,カメラ視点の変化によるAV知覚モデルの影響について検討し,データ収集やラベル付けを繰り返すことなく車種間をスケールする方法を提案する。
鳥の目視(BEV)セグメンテーションをモチベーションタスクとして用い,既存の知覚モデルがカメラ視点の変化に対して驚くほど敏感であることを示す。
あるカメラリグのデータを使ってトレーニングすると、推測時にカメラのピッチ、ヨー、深さ、高さが小さな変化で性能が大幅に低下する。
我々は,新たなビュー合成手法を導入して,収集したデータを対象リグの視点に変換することで,追加のデータ収集やラベリングコストを必要とせずに,多様なターゲットリグに対するbevセグメンテーションモデルをトレーニングできる。
視点の変化の影響を分析するために,合成データを利用して他のギャップ(コンテンツ,ISPなど)を緩和する。
提案手法は,実データに基づいて訓練され,合成データに基づいて評価される。
将来の作業で使用するすべてのデータをリリースします。
我々の方法では、新しいリグへの展開時に失われる平均14.7%のIoUを回収することができる。
関連論文リスト
- DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning [7.012508171229966]
商業車両で一般的に使用されるサラウンドビュー魚眼カメラのBEVセグメンテーションに関する作業は限られている。
我々は,様々な道路タイプ,天気,照明条件からなるコニャータシミュレータを用いて,合成データセットを作成する。
我々は,BEVセグメンテーションを任意のカメラモデルで動作するように一般化し,多様なカメラを混合するのに有用である。
論文 参考訳（メタデータ） (2024-04-09T14:43:19Z) - Estimation of Appearance and Occupancy Information in Birds Eye View
from Surround Monocular Images [2.69840007334476]
Birds-eye View (BEV)は、トップダウンビューから、エゴ車両フレーム内の異なる交通参加者の位置を表す。
360デグ視野(FOV)をカバーするモノクラーカメラのアレイから、様々な交通参加者の外観や占有情報をキャプチャする新しい表現を提案する。
我々は、すべてのカメラ画像の学習画像埋め込みを使用して、シーンの外観と占有度の両方をキャプチャする瞬間に、シーンのBEVを生成する。
論文 参考訳（メタデータ） (2022-11-08T20:57:56Z) - Delving into the Devils of Bird's-eye-view Perception: A Review,
Evaluation and Recipe [115.31507979199564]
鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。
センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。
BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
論文 参考訳（メタデータ） (2022-09-12T15:29:13Z) - Cross-View Cross-Scene Multi-View Crowd Counting [56.83882084112913]
従来,複数カメラを用いて1台のカメラの視野を拡大する手法が提案されてきた。
任意のカメラレイアウトで異なるシーンでトレーニングやテストを行う,クロスビュー・クロスシーン(CVCS)のマルチビュー・クラウドカウント・パラダイムを提案する。
論文 参考訳（メタデータ） (2022-05-03T15:03:44Z) - SVDistNet: Self-Supervised Near-Field Distance Estimation on Surround
View Fisheye Cameras [30.480562747903186]
シーンジオメトリの360deg認識は、特に駐車場や都市部の運転シナリオで、自動運転に不可欠です。
カメラパラメータを条件入力として用いる,新しいカメラジオメトリー適応型マルチスケール畳み込み法を提案する。
魚眼ウッドキャップサラウンドビューデータセットに対する我々のアプローチを評価し,従来のアプローチよりも大幅に改善した。
論文 参考訳（メタデータ） (2021-04-09T15:20:20Z) - OmniDet: Surround View Cameras based Multi-task Visual Perception
Network for Autonomous Driving [10.3540046389057]
本研究は,未修正魚眼画像のマルチタスク視覚知覚ネットワークを提案する。
自動運転システムに必要な6つの主要なタスクで構成されている。
共同で訓練されたモデルは、それぞれのタスクバージョンよりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-02-15T10:46:24Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-15T03:03:38Z) - A Flow Base Bi-path Network for Cross-scene Video Crowd Understanding in
Aerial View [93.23947591795897]
本稿では,これらの課題に対処し,ドローンから収集した視覚的データから参加者を自動的に理解する。
クロスシーンテストで発生する背景雑音を軽減するために, 二重ストリーム群カウントモデルを提案する。
極暗環境下での集団密度推定問題に対処するために,ゲームグランドセフトオートV(GTAV)によって生成された合成データを導入する。
論文 参考訳（メタデータ） (2020-09-29T01:48:24Z) - Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by
Implicitly Unprojecting to 3D [100.93808824091258]
本稿では,任意の数のカメラから映像データを与えられたシーンの鳥眼ビュー表現を直接抽出するエンド・ツー・エンドアーキテクチャを提案する。
我々のアプローチは、それぞれの画像をそれぞれのカメラのフラストラムに個別に“リフト”し、すべてのフラストラムを鳥の目視格子に“プレート”することです。
提案モデルにより推定される表現は,テンプレートトラジェクトリを鳥眼ビューのコストマップに"撮影"することで,終末動作計画の解釈を可能にすることを示す。
論文 参考訳（メタデータ） (2020-08-13T06:29:01Z) - A Sim2Real Deep Learning Approach for the Transformation of Images from
Multiple Vehicle-Mounted Cameras to a Semantically Segmented Image in Bird's
Eye View [0.0]
カメラの視点を鳥の視線(BEV)に変換すると、距離をより容易に推定できる。
本稿では,複数の車載カメラから補正された360度BEV画像を得る方法について述べる。
ニューラルネットワークのアプローチは、手動でラベル付けされたデータに頼るのではなく、実世界のデータに対してうまく一般化するように、合成データセットでトレーニングされる。
論文 参考訳（メタデータ） (2020-05-08T14:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。