論文の概要: 3D Data Augmentation for Driving Scenes on Camera

• arxiv url: http://arxiv.org/abs/2303.10340v1
• Date: Sat, 18 Mar 2023 05:51:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 20:06:23.758496
• Title: 3D Data Augmentation for Driving Scenes on Camera
• Title（参考訳）: カメラによる運転シーンの3次元データ拡張
• Authors: Wenwen Tong, Jiangwei Xie, Tianyu Li, Hanming Deng, Xiangwei Geng, Ruoyi Zhou, Dingchen Yang, Bo Dai, Lewei Lu, Hongyang Li
• Abstract要約: 本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
• 参考スコア（独自算出の注目度）: 50.41413053812315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driving scenes are extremely diverse and complicated that it is impossible to collect all cases with human effort alone. While data augmentation is an effective technique to enrich the training data, existing methods for camera data in autonomous driving applications are confined to the 2D image plane, which may not optimally increase data diversity in 3D real-world scenarios. To this end, we propose a 3D data augmentation approach termed Drive-3DAug, aiming at augmenting the driving scenes on camera in the 3D space. We first utilize Neural Radiance Field (NeRF) to reconstruct the 3D models of background and foreground objects. Then, augmented driving scenes can be obtained by placing the 3D objects with adapted location and orientation at the pre-defined valid region of backgrounds. As such, the training database could be effectively scaled up. However, the 3D object modeling is constrained to the image quality and the limited viewpoints. To overcome these problems, we modify the original NeRF by introducing a geometric rectified loss and a symmetric-aware training strategy. We evaluate our method for the camera-only monocular 3D detection task on the Waymo and nuScences datasets. The proposed data augmentation approach contributes to a gain of 1.7% and 1.4% in terms of detection accuracy, on Waymo and nuScences respectively. Furthermore, the constructed 3D models serve as digital driving assets and could be recycled for different detectors or other 3D perception tasks.
• Abstract（参考訳）: 運転シーンは非常に多様で複雑であり、人間の努力だけですべてのケースを収集することは不可能である。 データ拡張はトレーニングデータを充実させる効果的な手法であるが、自律運転アプリケーションにおけるカメラデータの既存の方法は2次元画像平面に限られており、現実のシナリオではデータの多様性が最適に向上しない可能性がある。 そこで本稿では,3d空間におけるカメラの運転シーンの強化を目的とした,drive-3daugと呼ばれる3dデータ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、背景の既定有効領域に適した位置及び向きの3dオブジェクトを配置することにより、拡張運転シーンを得ることができる。 そのため、トレーニングデータベースは効果的にスケールアップできる。 しかし、3dオブジェクトモデリングは画質や視点の制限によって制限されている。 これらの問題を解決するため,幾何的補正損失と対称認識学習戦略を導入することで,元のNeRFを修正した。 Waymo および nuScences データセット上でのカメラ専用単眼3D検出タスクの評価を行った。 提案手法は, 検出精度の面では, それぞれwaymo と nuscence で 1.7% と 1.4% の上昇に寄与する。 さらに、構築された3Dモデルはデジタル駆動資産として機能し、異なる検出器や他の3D知覚タスクのためにリサイクルすることができる。

関連論文リスト

• HeightFormer: A Semantic Alignment Monocular 3D Object Detection Method from Roadside Perspective [11.841338298700421]
  本研究では,空間的前駆体とVoxel Pooling formerを統合した3次元物体検出フレームワークを提案する。 Rope3DとDAIR-V2X-Iデータセットを用いて実験を行い、提案アルゴリズムが車とサイクリストの両方を検知する際の性能を実証した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:33Z)
• Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
  Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。 1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。 これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
  論文  参考訳（メタデータ） (2024-06-25T10:20:44Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Aerial Monocular 3D Object Detection [46.26215100532241]
  本研究は,2次元画像空間と3次元物理空間の両方において,空中単分子物体検出を実現するために,DVDETというデュアルビュー検出システムを提案する。 この課題に対処するため,AirSIMとCARLAの共同シミュレーションによって生成されたAM3D-Simという新しい大規模シミュレーションデータセットと,DJI Matrice 300 RTKによって収集されたAM3D-Realという新しい実世界の空中データセットを提案する。
  論文  参考訳（メタデータ） (2022-08-08T08:32:56Z)
• ONCE-3DLanes: Building Monocular 3D Lane Detection [41.46466150783367]
  OnCE-3DLanesは3次元空間にレーンレイアウトアノテーションを付加した実世界の自律走行データセットである。 点雲と画像ピクセルとの明確な関係を利用して、データセットのアノテーションパイプラインは、高品質な3Dレーンの位置を自動的に生成するように設計されている。
  論文  参考訳（メタデータ） (2022-04-30T16:35:25Z)
• Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data [80.14669385741202]
  本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。 私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
  論文  参考訳（メタデータ） (2022-03-30T12:40:30Z)
• CenterLoc3D: Monocular 3D Vehicle Localization Network for Roadside Surveillance Cameras [0.0]
  路面単眼カメラのための3次元車両位置決めネットワークCenterLoc3Dを提案する。 提案手法は高精度でリアルタイムな性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T07:47:37Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。