論文の概要: RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning

• arxiv url: http://arxiv.org/abs/2501.12296v1
• Date: Tue, 21 Jan 2025 17:03:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:03.438328
• Title: RALAD: Bridging the Real-to-Sim Domain Gap in Autonomous Driving with Retrieval-Augmented Learning
• Title（参考訳）: RALAD: 検索学習による自律運転におけるリアルタイムドメインギャップのブリッジ
• Authors: Jiacheng Zuo, Haibo Hu, Zikang Zhou, Yufei Cui, Ziquan Liu, Jianping Wang, Nan Guan, Jin Wang, Chun Jason Xue,
• Abstract要約: 本稿では,リアルタイムとシミュレーションのギャップを低コストで埋めるために,自律運転のための検索強化学習(RALAD)を提案する。 RALADは、(1)拡張された最適輸送(OT)メソッドによるドメイン適応、(2)シンプルで統一されたフレームワーク、(3)効率的な微調整技術を含む3つの主要な設計を特徴としている。 実験の結果,ALADは実世界のシナリオにおける精度を維持しつつ,シミュレーション環境における性能劣化を補償することを示した。
• 参考スコア（独自算出の注目度）: 25.438771583229727
• License:
• Abstract: In the pursuit of robust autonomous driving systems, models trained on real-world datasets often struggle to adapt to new environments, particularly when confronted with corner cases such as extreme weather conditions. Collecting these corner cases in the real world is non-trivial, which necessitates the use of simulators for validation. However,the high computational cost and the domain gap in data distribution have hindered the seamless transition between real and simulated driving scenarios. To tackle this challenge, we propose Retrieval-Augmented Learning for Autonomous Driving (RALAD), a novel framework designed to bridge the real-to-sim gap at a low cost. RALAD features three primary designs, including (1) domain adaptation via an enhanced Optimal Transport (OT) method that accounts for both individual and grouped image distances, (2) a simple and unified framework that can be applied to various models, and (3) efficient fine-tuning techniques that freeze the computationally expensive layers while maintaining robustness. Experimental results demonstrate that RALAD compensates for the performance degradation in simulated environments while maintaining accuracy in real-world scenarios across three different models. Taking Cross View as an example, the mIOU and mAP metrics in real-world scenarios remain stable before and after RALAD fine-tuning, while in simulated environments,the mIOU and mAP metrics are improved by 10.30% and 12.29%, respectively. Moreover, the re-training cost of our approach is reduced by approximately 88.1%. Our code is available at https://github.com/JiachengZuo/RALAD.git.
• Abstract（参考訳）: 堅牢な自律運転システムの追求において、現実世界のデータセットで訓練されたモデルは、特に極端な気象条件のようなコーナーケースに直面している場合、新しい環境に適応するのに苦労することが多い。 これらのコーナーケースを現実の世界で収集するのは簡単ではなく、検証にシミュレータを使う必要がある。 しかし、高い計算コストとデータ分散の領域ギャップは、実とシミュレートされた運転シナリオ間のシームレスな遷移を妨げている。 この課題に対処するために、我々は、リアルタイムのギャップを低コストで埋めるように設計された新しいフレームワークである、自律運転のための検索強化学習(RALAD)を提案する。 RALAD は,(1) 画像距離とグループ距離の両方を考慮した拡張 Optimal Transport (OT) 手法によるドメイン適応,(2) 様々なモデルに適用可能なシンプルで統一的なフレームワーク,(3) 堅牢性を維持しつつ計算コストの高い層を凍結する効率的な微調整技術,の3つの主要な設計を特徴としている。 実験結果から、ALADはシミュレーション環境における性能劣化を補償すると同時に、3つの異なるモデルにわたる実環境シナリオにおける精度を維持していることがわかった。 クロスビューを例として、現実世界のシナリオにおけるmIOUとmAPのメトリクスは、ALADの微調整の前後で安定であり、シミュレーション環境では、mIOUとmAPのメトリクスはそれぞれ10.30%、12.29%改善されている。 さらに,本手法の再学習コストを約88.1%削減した。 私たちのコードはhttps://github.com/JiachengZuo/RALAD.git.comで公開されています。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking [65.24988062003096]
  我々は,視覚に基づく運転ポリシーをベンチマークするフレームワークであるNAVSIMを提案する。 我々のシミュレーションは非反応性であり、評価された政策と環境は互いに影響を与えない。 NAVSIMはCVPR 2024で開催され、143チームが433のエントリーを提出し、いくつかの新たな洞察を得た。
  論文  参考訳（メタデータ） (2024-06-21T17:59:02Z)
• Sim-to-Real Transfer of Deep Reinforcement Learning Agents for Online Coverage Path Planning [15.792914346054502]
  我々は、カバーパス計画(CPP)のための強化学習エージェント(RL)のSim-to-real転送の課題に取り組む。 シミュレーションされたセンサと障害物を利用しながら、現実のロボットやリアルタイムの側面を含む半仮想環境を通じて、シミュレートと現実のギャップを橋渡しする。 高い推測周波数は、一階マルコフのポリシーをシミュレーションから直接転送することを可能にし、高階のポリシーを微調整することで、sim-to-realのギャップをさらに減らすことができる。
  論文  参考訳（メタデータ） (2024-06-07T13:24:19Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• Off Environment Evaluation Using Convex Risk Minimization [0.0]
  本稿では,シミュレータと対象領域間のモデルミスマッチを推定する凸リスク最小化アルゴリズムを提案する。 対象領域におけるRLエージェントの性能を評価するために,シミュレータとともにこの推定器を使用できることを示す。
  論文  参考訳（メタデータ） (2021-12-21T21:31:54Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Cycle-Consistent World Models for Domain Independent Latent Imagination [0.0]
  高いコストとリスクは、現実世界での自動運転車の訓練を困難にします。 本稿では,Cycleconsistent World Modelsと呼ばれる新しいモデルに基づく強化学習手法を提案する。
  論文  参考訳（メタデータ） (2021-10-02T13:55:50Z)
• DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning [4.040937987024427]
  ドメインランダム化(DR)は、このギャップをほとんど、あるいは全く現実世界のデータで埋めることのできる方法論である。 シミュレーションで訓練されたDeepRLベースの自動運転車を強固にするために、敵対モデルが提案されている。
  論文  参考訳（メタデータ） (2021-07-25T09:15:46Z)
• Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
  ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。 生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
  論文  参考訳（メタデータ） (2021-04-22T12:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。