論文の概要: Sim2Real for Self-Supervised Monocular Depth and Segmentation
- arxiv url: http://arxiv.org/abs/2012.00238v1
- Date: Tue, 1 Dec 2020 03:25:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-05-30 20:03:09.093600
- Title: Sim2Real for Self-Supervised Monocular Depth and Segmentation
- Title（参考訳）: Sim2Real for Self-Supervised Monocular Depth and Segmentation
- Authors: Nithin Raghavan, Punarjay Chakravarty, Shubham Shrivastava
- Abstract要約: 自動運転車の認識タスクのための画像に基づく学習手法は、過度に適合することなく適切にトレーニングするために、大量のラベル付き実データを必要とする。
領域適応の最近の進歩は、共有潜在空間仮定がシミュレーションと実際の領域の間のギャップを埋めるのに役立つことを示している。
我々は,2つのVAEベースアーキテクチャを共用し,仮想空間と補助デコーダを組み込むことで,実領域において2つの基幹データを必要とすることなく,sim2realギャップをブリッジできることを実証した。
- 参考スコア（独自算出の注目度）: 7.376636976924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-based learning methods for autonomous vehicle perception tasks require
large quantities of labelled, real data in order to properly train without
overfitting, which can often be incredibly costly. While leveraging the power
of simulated data can potentially aid in mitigating these costs, networks
trained in the simulation domain usually fail to perform adequately when
applied to images in the real domain. Recent advances in domain adaptation have
indicated that a shared latent space assumption can help to bridge the gap
between the simulation and real domains, allowing the transference of the
predictive capabilities of a network from the simulation domain to the real
domain. We demonstrate that a twin VAE-based architecture with a shared latent
space and auxiliary decoders is able to bridge the sim2real gap without
requiring any paired, ground-truth data in the real domain. Using only paired,
ground-truth data in the simulation domain, this architecture has the potential
to generate perception tasks such as depth and segmentation maps. We compare
this method to networks trained in a supervised manner to indicate the merit of
these results.
- Abstract（参考訳）: 自動運転車の認識タスクのための画像ベースの学習手法は、過度に適合することなく適切にトレーニングするために、大量のラベル付き実データを必要とする。
シミュレーションデータのパワーを活用することで、これらのコストを軽減することができるが、シミュレーション領域で訓練されたネットワークは通常、実際のドメインの画像に適用された場合、適切に動作しない。
ドメイン適応の最近の進歩は、共有潜在空間仮定がシミュレーションと実際のドメインの間のギャップを埋めるのに役立ち、シミュレーションドメインから実際のドメインへのネットワークの予測能力の移譲を可能にすることを示唆している。
共用した潜在空間と補助的なデコーダを持つ2つのvaeベースのアーキテクチャは、実領域におけるペアリングされた接地データを必要としないsim2real gapをブリッジできることを実証する。
このアーキテクチャでは,シミュレーション領域における基底構造データのみを用いて,深度やセグメンテーションマップなどの知覚タスクを生成することができる。
この手法を教師付きで訓練されたネットワークと比較し,結果のメリットを示す。
関連論文リスト
- Empirical Analysis of Sim-and-Real Cotraining Of Diffusion Policies For Planar Pushing from Pixels [18.858676073824515]
シミュレーションと実際のハードウェアの両方で生成されたデモデータとのコトレーニングは、sim2realギャップを克服するための強力なレシピとして現れている。
シミュレーションデータによってパフォーマンスは向上するが、最終的には高調になる。
意外なことに、視覚的なドメインギャップがあることは、実際にコトレインされたポリシーに役立つ。バイナリプローブは、ハイパフォーマンスなポリシーがシミュレーションされたドメインと実際のドメインを区別することを学習していることを明らかにする。
論文 参考訳（メタデータ） (2025-03-28T17:25:57Z) - Compositional Semantic Mix for Domain Adaptation in Point Cloud
Segmentation [65.78246406460305]
合成意味混合は、ポイントクラウドセグメンテーションのための最初の教師なし領域適応技術である。
本稿では、ソースドメイン(例えば合成)からの点雲とターゲットドメイン(例えば実世界)からの点雲を同時に処理できる2分岐対称ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-08-28T14:43:36Z) - Quantifying the LiDAR Sim-to-Real Domain Shift: A Detailed Investigation
Using Object Detectors and Analyzing Point Clouds at Target-Level [1.1999555634662635]
自律運転のためのニューラルネットワークに基づくLiDARオブジェクト検出アルゴリズムは、トレーニング、検証、テストのために大量のデータを必要とする。
ニューラルネットワークのトレーニングにシミュレーションデータを使用することで、シーン、シナリオ、分布の違いによるトレーニングデータとテストデータのドメインシフトが生じることを示す。
論文 参考訳（メタデータ） (2023-03-03T12:52:01Z) - One-Shot Domain Adaptive and Generalizable Semantic Segmentation with
Class-Aware Cross-Domain Transformers [96.51828911883456]
セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。
従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。
実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
論文 参考訳（メタデータ） (2022-12-14T15:54:15Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - ActiveZero: Mixed Domain Learning for Active Stereovision with Zero
Annotation [21.33158815473845]
本稿では,アクティブステレオビジョンシステムのための混合ドメイン学習ソリューションであるActiveZeroを提案する。
メソッドをエンドツーエンドにトレーニングする方法と,各モジュールが最終結果を達成する上で重要であることを示す。
論文 参考訳（メタデータ） (2021-12-06T04:03:47Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - Attention-based Adversarial Appearance Learning of Augmented Pedestrians [49.25430012369125]
本稿では,歩行者認識タスクのための現実的なデータを合成する手法を提案する。
本手法は, 対向的損失によって駆動される注意機構を用いて, ドメインの相違を学習する。
提案手法はこのような不一致に対して頑健であり,視覚的リアリズムと意味的整合性の両方を明らかにする。
論文 参考訳（メタデータ） (2021-07-06T15:27:00Z) - DIRL: Domain-Invariant Representation Learning for Sim-to-Real Transfer [2.119586259941664]
本稿では,ドメイン不変表現学習(DIRL)アルゴリズムを提案する。
桁領域の実験は、挑戦的なベンチマークで最先端のパフォーマンスを得る。
論文 参考訳（メタデータ） (2020-11-15T17:39:01Z) - From Simulation to Real World Maneuver Execution using Deep
Reinforcement Learning [69.23334811890919]
深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。
これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。
本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
論文 参考訳（メタデータ） (2020-05-13T14:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。