論文の概要: DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning

• arxiv url: http://arxiv.org/abs/2404.06352v1
• Date: Tue, 9 Apr 2024 14:43:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:21:03.568223
• Title: DaF-BEVSeg: Distortion-aware Fisheye Camera based Bird's Eye View Segmentation with Occlusion Reasoning
• Title（参考訳）: DaF-BEVSeg: Occlusion Reasoningを用いた変形型魚眼カメラによる鳥の視線分割
• Authors: Senthil Yogamani, David Unger, Venkatraman Narayanan, Varun Ravi Kumar,
• Abstract要約: 商業車両で一般的に使用されるサラウンドビュー魚眼カメラのBEVセグメンテーションに関する作業は限られている。 我々は,様々な道路タイプ,天気,照明条件からなるコニャータシミュレータを用いて,合成データセットを作成する。 我々は,BEVセグメンテーションを任意のカメラモデルで動作するように一般化し,多様なカメラを混合するのに有用である。
• 参考スコア（独自算出の注目度）: 7.012508171229966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic segmentation is an effective way to perform scene understanding. Recently, segmentation in 3D Bird's Eye View (BEV) space has become popular as its directly used by drive policy. However, there is limited work on BEV segmentation for surround-view fisheye cameras, commonly used in commercial vehicles. As this task has no real-world public dataset and existing synthetic datasets do not handle amodal regions due to occlusion, we create a synthetic dataset using the Cognata simulator comprising diverse road types, weather, and lighting conditions. We generalize the BEV segmentation to work with any camera model; this is useful for mixing diverse cameras. We implement a baseline by applying cylindrical rectification on the fisheye images and using a standard LSS-based BEV segmentation model. We demonstrate that we can achieve better performance without undistortion, which has the adverse effects of increased runtime due to pre-processing, reduced field-of-view, and resampling artifacts. Further, we introduce a distortion-aware learnable BEV pooling strategy that is more effective for the fisheye cameras. We extend the model with an occlusion reasoning module, which is critical for estimating in BEV space. Qualitative performance of DaF-BEVSeg is showcased in the video at https://streamable.com/ge4v51.
• Abstract（参考訳）: セマンティックセグメンテーションはシーン理解に有効な方法である。 近年,3D Bird's Eye View (BEV)空間におけるセグメンテーションが,ドライブポリシーの直接利用として人気を集めている。 しかし、商業車両で一般的に使用されるサラウンドビュー魚眼カメラのBEVセグメンテーションについては限定的な研究がなされている。 このタスクには実世界のパブリックデータセットがなく、既存の合成データセットは閉塞によるアモーダル領域を扱わないため、様々な道路タイプ、天気、照明条件からなるコニャータシミュレーターを用いて合成データセットを作成する。 我々は,BEVセグメンテーションを任意のカメラモデルで動作するように一般化し,多様なカメラを混合するのに有用である。 魚眼画像に筒状整形を施し,標準的なLSSベースのBEVセグメンテーションモデルを用いてベースラインを実装した。 我々は、前処理や視野の縮小、アーティファクトの再サンプリングによる実行時間の増加による悪影響がある、歪曲を伴わずにより良いパフォーマンスを実現することができることを示した。 さらに,魚眼カメラに有効である歪み認識型学習可能なBEVプーリング戦略を導入する。 BEV空間における推定に欠かせないオクルージョン推論モジュールを用いてモデルを拡張する。 DaF-BEVSegの質的なパフォーマンスは、https://streamable.com/ge4v51.comで紹介されている。

関連論文リスト

• GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
  本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。 まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。 GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2024-10-31T06:17:16Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
  カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。 カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。 IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
  論文  参考訳（メタデータ） (2024-09-11T08:36:49Z)
• Towards Viewpoint Robustness in Bird's Eye View Segmentation [85.99907496019972]
  AV知覚モデルがカメラ視点の変化にどのように影響するかを考察する。 投機時のピッチ、ヨー、深さ、高さへの小さな変化は、大きな性能低下につながる。 本稿では,新しいビュー合成技術を導入し,収集したデータをターゲットリグの視点に変換する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-11T02:10:07Z)
• Semi-Supervised Learning for Visual Bird's Eye View Semantic Segmentation [16.3996408206659]
  トレーニング中にラベルのない画像を活用することで性能を向上させるために,視覚的BEVセマンティックセマンティックセマンティックセマンティクスのための新しい半教師付きフレームワークを提案する。 次に、ラベルのないデータを完全に利用する一貫性損失を提案し、セマンティックな予測だけでなく、BEV機能にもモデルを制約する。 nuScenesとArgoverseデータセットの実験により、我々のフレームワークは予測精度を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2023-08-28T12:23:36Z)
• F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera Images for Automated Driving [3.286961611175469]
  魚眼画像からBEVの高さマップとBEVセマンティックセグメンテーションマップを生成するためのベースラインF2BEVを導入する。 F2BEVは、空間情報のクエリと統合のための歪み対応空間横断モジュールで構成される。 合成FB-SSEMデータセットを用いて,F2BEVの単一タスクおよびマルチタスク変異を評価した。
  論文  参考訳（メタデータ） (2023-03-07T04:58:57Z)
• Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
  本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。 我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
  論文  参考訳（メタデータ） (2022-11-15T13:52:41Z)
• BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird's-Eye View Representation [105.96557764248846]
  本稿では,汎用マルチタスクマルチセンサ融合フレームワークであるBEVFusionを紹介する。 共有鳥眼ビュー表示空間におけるマルチモーダル特徴を統一する。 3Dオブジェクト検出では1.3%高いmAPとNDS、BEVマップのセグメンテーションでは13.6%高いmIoU、コストは1.9倍である。
  論文  参考訳（メタデータ） (2022-05-26T17:59:35Z)
• BEVSegFormer: Bird's Eye View Semantic Segmentation From Arbitrary Camera Rigs [3.5728676902207988]
  任意のカメラリグからのBEVセマンティックセマンティックセグメンテーションのための効果的なトランスフォーマーベース手法を提案する。 具体的には、まず任意のカメラから画像の特徴を共有バックボーンで符号化する。 BEV-to-imageビュー変換を行うために、効率的なマルチカメラ変形型アテンションユニットを設計する。
  論文  参考訳（メタデータ） (2022-03-08T12:39:51Z)
• BEV-MODNet: Monocular Camera based Bird's Eye View Moving Object Detection for Autonomous Driving [2.9769485817170387]
  CNNは、現場のグローバルコンテキストを活用して、より良いプロジェクトを作成することができる。 我々は、BEV空間内で5つのクラスを移動するオブジェクトマスクのアノテーションを備えた12.9k画像からなる拡張KITTI-rawデータセットを作成する。 簡単なベースライン実装を用いてmIoUの13%の大幅な改善を観測した。
  論文  参考訳（メタデータ） (2021-07-11T01:11:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。