論文の概要: Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds

• arxiv url: http://arxiv.org/abs/2203.16895v1
• Date: Thu, 31 Mar 2022 09:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 15:50:55.506584
• Title: Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
• Title（参考訳）: 点雲の非教師付き合成-実シーンフロー推定による変形と対応
• Authors: Zhao Jin, Yinjie Lei, Naveed Akhtar, Haifeng Li, Munawar Hayat
• Abstract要約: 我々はGTA-Vエンジンのためのポイントクラウドコレクタとシーンフローアノテータを開発し、人間の介入なしに多様なトレーニングサンプルを自動的に取得する。 対象ドメインの擬似ラベルを自己生成する平均教師型ドメイン適応フレームワークを提案する。 本フレームワークは、6つのソースターゲットデータセットペアに対して優れた適応性を実現し、平均的なドメインギャップを60%削減する。
• 参考スコア（独自算出の注目度）: 43.792032657561236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud scene flow estimation is of practical importance for dynamic scene navigation in autonomous driving. Since scene flow labels are hard to obtain, current methods train their models on synthetic data and transfer them to real scenes. However, large disparities between existing synthetic datasets and real scenes lead to poor model transfer. We make two major contributions to address that. First, we develop a point cloud collector and scene flow annotator for GTA-V engine to automatically obtain diverse realistic training samples without human intervention. With that, we develop a large-scale synthetic scene flow dataset GTA-SF. Second, we propose a mean-teacher-based domain adaptation framework that leverages self-generated pseudo-labels of the target domain. It also explicitly incorporates shape deformation regularization and surface correspondence refinement to address distortions and misalignments in domain transfer. Through extensive experiments, we show that our GTA-SF dataset leads to a consistent boost in model generalization to three real datasets (i.e., Waymo, Lyft and KITTI) as compared to the most widely used FT3D dataset. Moreover, our framework achieves superior adaptation performance on six source-target dataset pairs, remarkably closing the average domain gap by 60%. Data and codes are available at https://github.com/leolyj/DCA-SRSFE
• Abstract（参考訳）: ポイントクラウドシーンフロー推定は、自律運転における動的シーンナビゲーションにおいて実用的に重要である。 シーンフローラベルは取得が難しいため、現在の方法では、合成データに基づいてモデルをトレーニングし、実際のシーンに転送する。 しかし、既存の合成データセットと実際のシーンとの大きな相違は、モデル転送の貧弱につながる。 私たちはそれに対処するために2つの大きな貢献をします。 まず,gta-vエンジン用のポイントクラウドコレクタとシーンフローアノテータを開発し,人間の介入なしに多彩なトレーニングサンプルを自動的に取得する。 そこで我々は,大規模合成シーンフローデータセットGTA-SFを開発した。 次に,対象ドメインの擬似ラベルを自己生成する平均教師型ドメイン適応フレームワークを提案する。 また、形状変形正則化と表面対応改善を明示的に組み込んで、ドメイン転送の歪みや不一致に対処する。 広範な実験を通じて、我々のGTA-SFデータセットは、最も広く使用されているFT3Dデータセットと比較して、3つの実際のデータセット(Waymo、Lyft、KITTI)へのモデルの一般化を一貫して向上させることを示した。 さらに,本フレームワークは,6つのソースターゲットデータセットペアに対して優れた適応性を実現し,平均領域ギャップを60%削減する。 データとコードはhttps://github.com/leolyj/dca-srsfeで入手できる。

関連論文リスト

• A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
  コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。 制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。 これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
  論文  参考訳（メタデータ） (2023-03-16T09:03:52Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• GIPSO: Geometrically Informed Propagation for Online Adaptation in 3D LiDAR Segmentation [60.07812405063708]
  3Dポイントクラウドセマンティックセグメンテーションは、自動運転に基本である。 文学におけるほとんどのアプローチは、動的シーンを扱う際に、ドメインシフトをどのように扱うかという重要な側面を無視している。 本稿では,本研究分野における最先端技術について述べる。
  論文  参考訳（メタデータ） (2022-07-20T09:06:07Z)
• Towards 3D Scene Understanding by Referring Synthetic Models [65.74211112607315]
  メソッドは通常、実際のシーンスキャンにおける過剰なアノテーションを緩和する。 合成モデルは、合成特徴の実際のシーンカテゴリを、統一された特徴空間にどのように依存するかを考察する。 実験の結果,ScanNet S3DISデータセットの平均mAPは46.08%,学習データセットは55.49%であった。
  論文  参考訳（メタデータ） (2022-03-20T13:06:15Z)
• Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
  オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。 実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。 フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
  論文  参考訳（メタデータ） (2021-03-01T20:56:05Z)
• ePointDA: An End-to-End Simulation-to-Real Domain Adaptation Framework for LiDAR Point Cloud Segmentation [111.56730703473411]
  LiDARデータ上でディープニューラルネットワーク(DNN)をトレーニングするには、大規模なポイントワイドアノテーションが必要である。 シミュレーション・トゥ・リアル・ドメイン適応(SRDA)は、DNNを無制限の合成データと自動生成されたラベルで訓練する。 ePointDAは、自己教師付きドロップアウトノイズレンダリング、統計不変および空間適応型特徴アライメント、転送可能なセグメンテーション学習の3つのモジュールで構成されている。
  論文  参考訳（メタデータ） (2020-09-07T23:46:08Z)
• Virtual to Real adaptation of Pedestrian Detectors [9.432150710329607]
  ViPeDは、ビデオゲームGTA V - Grand Theft Auto Vのグラフィカルエンジンで収集された新しい合成画像セットである。 本稿では,歩行者検出作業に適した2つの異なる領域適応手法を提案する。 実験によると、ViPeDでトレーニングされたネットワークは、実世界のデータでトレーニングされた検出器よりも、目に見えない現実世界のシナリオを一般化できる。
  論文  参考訳（メタデータ） (2020-01-09T14:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。