論文の概要: Domain Adaptation of Synthetic Driving Datasets for Real-World
Autonomous Driving
- arxiv url: http://arxiv.org/abs/2302.04149v1
- Date: Wed, 8 Feb 2023 15:51:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-09 15:44:01.604356
- Title: Domain Adaptation of Synthetic Driving Datasets for Real-World
Autonomous Driving
- Title(参考訳): 実世界自律運転のための合成運転データセットのドメイン適応
- Authors: Koustav Mullick, Harshil Jain, Sanchit Gupta, Amit Arvind Kale
- Abstract要約: 特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。
本稿では,このような手法を改良するための新しい手法を提案し,評価する。
本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
- 参考スコア(独自算出の注目度): 0.11470070927586014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While developing perception based deep learning models, the benefit of
synthetic data is enormous. However, performance of networks trained with
synthetic data for certain computer vision tasks degrade significantly when
tested on real world data due to the domain gap between them. One of the
popular solutions in bridging this gap between synthetic and actual world data
is to frame it as a domain adaptation task. In this paper, we propose and
evaluate novel ways for the betterment of such approaches. In particular we
build upon the method of UNIT-GAN.
In normal GAN training for the task of domain translation, pairing of images
from both the domains (viz, real and synthetic) is done randomly. We propose a
novel method to efficiently incorporate semantic supervision into this pair
selection, which helps in boosting the performance of the model along with
improving the visual quality of such transformed images. We illustrate our
empirical findings on Cityscapes \cite{cityscapes} and challenging synthetic
dataset Synscapes. Though the findings are reported on the base network of
UNIT-GAN, they can be easily extended to any other similar network.
- Abstract(参考訳): 知覚に基づくディープラーニングモデルを開発する一方で、合成データの利点は巨大である。
しかし、特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークの性能は、それらの間のドメインギャップにより、実世界のデータでテストすると著しく低下する。
この合成データと実際の世界データの間のギャップを埋める一般的な解決策の1つは、それをドメイン適応タスクとしてフレーム化することだ。
本稿では,このようなアプローチを改良するための新しい方法を提案し,評価する。
特にUNIT-GANの手法に基づいて構築する。
ドメイン翻訳作業のための通常のGANトレーニングでは、両方のドメイン(viz、実および合成)からのイメージのペアリングがランダムに行われる。
本稿では,このペア選択に意味的監督を効率的に組み込む新しい手法を提案し,変換画像の視覚品質の向上とともに,モデルの性能向上に寄与する。
cityscapes \cite{cityscapes} と challenge synthetic dataset synscapes での経験的な結果を示す。
これらの結果はUNIT-GANのベースネットワーク上で報告されているが、他の類似ネットワークにも容易に拡張できる。
関連論文リスト
- Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳(メタデータ) (2024-03-23T22:32:06Z) - Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement [12.857137513211866]
本稿では、教師なしドメイン適応のためのトレーニングデータ合成と視線推定モデルからなる効果的なモデルトレーニングパイプラインを提案する。
提案したデータ合成は、単一画像の3D再構成を利用して、3次元の顔形状データセットを必要とせずに、ソース領域から頭部ポーズの範囲を広げる。
本稿では、視線関連特徴を分離し、背景アグリゲーション整合性損失を導入し、合成音源領域の特性を生かしたディエンタングリングオートエンコーダネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:15:03Z) - Bridging the Gap: Enhancing the Utility of Synthetic Data via
Post-Processing Techniques [7.967995669387532]
生成モデルは、実世界のデータを置き換えたり拡張したりできる合成データセットを生成するための有望なソリューションとして登場した。
本稿では,合成データセットの品質と多様性を向上させるために,新しい3つのポストプロセッシング手法を提案する。
Gap Filler(GaFi)は、Fashion-MNIST、CIFAR-10、CIFAR-100データセットにおいて、実精度スコアとのギャップを2.03%、1.78%、および3.99%に効果的に減少させることを示した。
論文 参考訳(メタデータ) (2023-05-17T10:50:38Z) - Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances [76.34037366117234]
ロボット制御ジェスチャー(RoCoG-v2)と呼ばれる新しいデータセットを導入する。
データセットは7つのジェスチャークラスの実ビデオと合成ビデオの両方で構成されている。
我々は,最先端の行動認識とドメイン適応アルゴリズムを用いて結果を示す。
論文 参考訳(メタデータ) (2023-03-17T23:23:55Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳(メタデータ) (2022-12-14T15:54:15Z) - Style-Hallucinated Dual Consistency Learning for Domain Generalized
Semantic Segmentation [117.3856882511919]
本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。
SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-04-06T02:49:06Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳(メタデータ) (2022-03-03T05:58:49Z) - Content Disentanglement for Semantically Consistent
Synthetic-to-RealDomain Adaptation in Urban Traffic Scenes [39.38387505091648]
合成データ生成は、自動運転における新しい交通シナリオを生成する魅力的なアプローチです。
合成データだけで訓練されたディープラーニング技術は、実際のデータでテストされたときに劇的なパフォーマンス低下に遭遇します。
本稿では,合成データと実データの間で意味的に一貫性のあるドメイン適応を実現する,教師なしのエンドツーエンドドメイン適応ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-05-18T17:42:26Z) - Learning to Segment Human Body Parts with Synthetically Trained Deep
Convolutional Networks [58.0240970093372]
本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。
提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
論文 参考訳(メタデータ) (2021-02-02T12:26:50Z) - Unsupervised Domain Adaptation for Mobile Semantic Segmentation based on
Cycle Consistency and Feature Alignment [28.61782696432711]
実世界と合成表現のドメインシフト問題に対処する新しいUnsupervised Domain Adaptation (UDA)戦略を提案する。
提案手法は,合成データに基づいて訓練されたセグメンテーションネットワークを実世界のシナリオに適用することで,優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-14T10:12:20Z) - Virtual to Real adaptation of Pedestrian Detectors [9.432150710329607]
ViPeDは、ビデオゲームGTA V - Grand Theft Auto Vのグラフィカルエンジンで収集された新しい合成画像セットである。
本稿では,歩行者検出作業に適した2つの異なる領域適応手法を提案する。
実験によると、ViPeDでトレーニングされたネットワークは、実世界のデータでトレーニングされた検出器よりも、目に見えない現実世界のシナリオを一般化できる。
論文 参考訳(メタデータ) (2020-01-09T14:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。