論文の概要: Improving Generalization of Transfer Learning Across Domains Using
Spatio-Temporal Features in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2103.08116v1
- Date: Mon, 15 Mar 2021 03:26:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:24:13.726500
- Title: Improving Generalization of Transfer Learning Across Domains Using
Spatio-Temporal Features in Autonomous Driving
- Title（参考訳）: 自律運転における時空間特徴を用いたドメイン間移動学習の一般化
- Authors: Shivam Akhauri, Laura Zheng, Tom Goldstein, Ming Lin
- Abstract要約: 車両シミュレーションは仮想世界で学習するために使用することができ、取得したスキルは現実世界のシナリオを扱うために転送することができる。
これらの視覚的要素は、運転中の人間の意思決定に直感的に重要です。
シーンから車両の動特性を表す時間的特徴を抽出するCNN+LSTM転送学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 45.655433907239804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training vision-based autonomous driving in the real world can be inefficient
and impractical. Vehicle simulation can be used to learn in the virtual world,
and the acquired skills can be transferred to handle real-world scenarios more
effectively. Between virtual and real visual domains, common features such as
relative distance to road edges and other vehicles over time are consistent.
These visual elements are intuitively crucial for human decision making during
driving. We hypothesize that these spatio-temporal factors can also be used in
transfer learning to improve generalization across domains. First, we propose a
CNN+LSTM transfer learning framework to extract the spatio-temporal features
representing vehicle dynamics from scenes. Next, we conduct an ablation study
to quantitatively estimate the significance of various features in the
decisions of driving systems. We observe that physically interpretable factors
are highly correlated with network decisions, while representational
differences between scenes are not. Finally, based on the results of our
ablation study, we propose a transfer learning pipeline that uses saliency maps
and physical features extracted from a source model to enhance the performance
of a target model. Training of our network is initialized with the learned
weights from CNN and LSTM latent features (capturing the intrinsic physics of
the moving vehicle w.r.t. its surroundings) transferred from one domain to
another. Our experiments show that this proposed transfer learning framework
better generalizes across unseen domains compared to a baseline CNN model on a
binary classification learning task.
- Abstract（参考訳）: 現実世界でのビジョンに基づく自動運転のトレーニングは、非効率で非現実的です。
車両シミュレーションは仮想世界での学習に利用することができ、取得したスキルを実際のシナリオをより効果的に扱うために転送することができる。
仮想と現実の視覚領域の間では、道路の端と他の車両との相対的な距離などの共通の特徴は一定である。
これらの視覚的要素は、運転中の人間の意思決定に直感的に重要です。
これらの時空間的要因は、ドメイン間の一般化を改善するための転送学習にも利用できると仮定する。
まず,シーンから車両の動特性を表す時空間的特徴を抽出するCNN+LSTM転送学習フレームワークを提案する。
次に,運転システム決定における様々な特徴の意義を定量的に推定するアブレーション研究を行う。
物理的に解釈可能な要因はネットワーク決定と高い相関関係にあるが,シーン間の表現的差異は認められない。
最後に、アブレーション研究の結果に基づいて、ソースモデルから抽出されたサリエンシーマップと物理的特徴を使用して、ターゲットモデルのパフォーマンスを向上させるトランスファーラーニングパイプラインを提案します。
ネットワークのトレーニングは、CNNおよびLSTM潜伏特性(移動車w.r.tの固有物理を捉える)から学習した重量で初期化される。
あるドメインから別のドメインに転送される(その周囲)。
提案手法は,二分分類学習タスクにおけるベースラインcnnモデルと比較して,未知領域をまたいでより一般化することを示す。
関連論文リスト
- Transfer Learning Study of Motion Transformer-based Trajectory Predictions [1.2972104025246092]
自動運転における軌道計画は、他の道路利用者の緊急行動を予測することに大きく依存している。
学習ベースの手法は現在、シミュレーションベースの課題において印象的な結果を示している。
本研究は,実世界への効果的な移行を支援するために,計算時間と性能のトレードオフの可能性に関する洞察を提供することを目的としている。
論文 参考訳（メタデータ） (2024-04-12T06:50:32Z) - KARNet: Kalman Filter Augmented Recurrent Neural Network for Learning
World Models in Autonomous Driving Tasks [11.489187712465325]
本稿では、フロントカメラ画像のみを用いて、交通流の潜在表現を学習するために、Kalmanフィルタの強化されたリカレントニューラルネットワークアーキテクチャを提案する。
その結果,車両の明示的なモデル(カルマンフィルタを用いて推定した状態)をエンドツーエンド学習に組み込むことで,性能が著しく向上した。
論文 参考訳（メタデータ） (2023-05-24T02:27:34Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳（メタデータ） (2023-03-07T18:28:41Z) - CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous
Driving Tasks [11.489187712465325]
自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。
オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。
この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
論文 参考訳（メタデータ） (2022-05-18T04:15:42Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳（メタデータ） (2021-01-17T00:29:30Z) - Explicit Domain Adaptation with Loosely Coupled Samples [85.9511585604837]
本稿では,ドメイン間の明示的なマッピングを学習するトランスファーラーニングフレームワークを提案する。
その解釈可能性のために、これは自律運転のような安全クリティカルなアプリケーションにとって有益である。
論文 参考訳（メタデータ） (2020-04-24T21:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。