論文の概要: Pre-Trained Vision Models as Perception Backbones for Safety Filters in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2410.22585v1
• Date: Tue, 29 Oct 2024 22:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:23:40.459972
• Title: Pre-Trained Vision Models as Perception Backbones for Safety Filters in Autonomous Driving
• Title（参考訳）: 自律運転における安全フィルタの知覚バックボーンとしての事前学習視覚モデル
• Authors: Yuxuan Yang, Hussein Sibai,
• Abstract要約: エンド・ツー・エンドのビジョンに基づく自動運転において、安全は依然として大きな関心事である。 我々は、凍結した事前学習された視覚表現モデルを知覚バックボーンとして使用し、視覚に基づく安全フィルタを設計する。 この状況下では、4つの一般的な事前学習型視覚モデルのオフライン性能を実証的に評価する。
• 参考スコア（独自算出の注目度）: 2.4381063627159523
• License:
• Abstract: End-to-end vision-based autonomous driving has achieved impressive success, but safety remains a major concern. The safe control problem has been addressed in low-dimensional settings using safety filters, e.g., those based on control barrier functions. Designing safety filters for vision-based controllers in the high-dimensional settings of autonomous driving can similarly alleviate the safety problem, but is significantly more challenging. In this paper, we address this challenge by using frozen pre-trained vision representation models as perception backbones to design vision-based safety filters, inspired by these models' success as backbones of robotic control policies. We empirically evaluate the offline performance of four common pre-trained vision models in this context. We try three existing methods for training safety filters for black-box dynamics, as the dynamics over representation spaces are not known. We use the DeepAccident dataset that consists of action-annotated videos from multiple cameras on vehicles in CARLA simulating real accident scenarios. Our results show that the filters resulting from our approach are competitive with the ones that are given the ground truth state of the ego vehicle and its environment.
• Abstract（参考訳）: エンド・ツー・エンドのビジョンに基づく自動運転は目覚ましい成功を収めているが、安全は依然として大きな関心事だ。 安全制御問題は、例えば、制御障壁関数に基づく安全フィルタを用いた低次元設定で解決されている。 自律運転の高次元設定における視覚ベースの制御器の安全フィルタの設計も同様に安全性の問題を軽減することができるが、より困難である。 本稿では,ロボット制御ポリシのバックボーンとしての成功に触発されて,凍結した事前学習された視覚表現モデルを視覚ベースの安全フィルタの設計のバックボーンとして使用することで,この問題に対処する。 この状況下では、4つの一般的な事前学習型視覚モデルのオフライン性能を実証的に評価する。 我々は,表現空間上の力学が未知であるため,ブラックボックスダイナミックスの安全フィルタをトレーニングするための既存の3つの手法を試す。 我々は、実際の事故シナリオをシミュレートするCARLAの車両上の複数のカメラからのアクションアノテートビデオからなるDeepAccidentデータセットを使用する。 提案手法により得られたフィルタは,エゴ車両とその環境の基礎的真理状態が与えられたフィルタと競合することを示す。

関連論文リスト

• Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving [65.61999354218628]
  我々は、自律運転システムにおいて、視覚言語モデル(VLM)をターゲットとしたブラックボックス敵攻撃を設計する第一歩を踏み出す。 セマンティクスの生成と注入による低レベル推論の分解を目標とするカスケーディング・アディバーショナル・ディスラプション(CAD)を提案する。 本稿では,高レベルリスクシナリオの理解と構築に代理VLMを活用することで,動的適応に対処するリスクシーンインジェクションを提案する。
  論文  参考訳（メタデータ） (2025-01-23T11:10:02Z)
• Learning Ensembles of Vision-based Safety Control Filters [0.0]
  制御システムの安全フィルタは、安全制約に違反する名目制御を補正する。 この課題に取り組むためのディープラーニングベースのアプローチが最近提案されている。 本研究では,これらのフィルタの精度向上と分布外一般化におけるアンサンブルの有効性を実証的に検討する。
  論文  参考訳（メタデータ） (2024-12-02T23:19:31Z)
• Dynamic Adversarial Attacks on Autonomous Driving Systems [16.657485186920102]
  本稿では,自律走行システムのレジリエンスに挑戦する攻撃機構を提案する。 我々は、他の移動車に搭載された画面に対向パッチを動的に表示することにより、自動運転車の意思決定プロセスを操作する。 我々の実験は、現実の自律走行シナリオにおけるこのような動的敵攻撃の実装が最初に成功したことを実証している。
  論文  参考訳（メタデータ） (2023-12-10T04:14:56Z)
• In-Distribution Barrier Functions: Self-Supervised Policy Filters that Avoid Out-of-Distribution States [84.24300005271185]
  本稿では,任意の参照ポリシーをラップした制御フィルタを提案する。 本手法は、トップダウンとエゴセントリックの両方のビュー設定を含むシミュレーション環境における2つの異なるビズモータ制御タスクに有効である。
  論文  参考訳（メタデータ） (2023-01-27T22:28:19Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing [52.50284630866713]
  既存のシステムは、状態推定、計画、制御のために手作業によるコンポーネントを必要とすることが多い。 本稿では、深層感触者ポリシーを学習することで、視覚に基づく自律ドローンレース問題に取り組む。
  論文  参考訳（メタデータ） (2022-10-26T19:03:17Z)
• USC: Uncompromising Spatial Constraints for Safety-Oriented 3D Object Detectors in Autonomous Driving [7.355977594790584]
  自律運転における3次元物体検出器の安全性指向性能について考察する。 本稿では,単純だが重要な局所化要件を特徴付ける空間的制約 (USC) について述べる。 既存のモデルに対する安全性指向の微調整を可能にするために,定量的な測定値を共通損失関数に組み込む。
  論文  参考訳（メタデータ） (2022-09-21T14:03:08Z)
• Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving [100.57791628642624]
  本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。 我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
  論文  参考訳（メタデータ） (2022-03-04T16:14:33Z)
• Self-Supervised Steering Angle Prediction for Vehicle Control Using Visual Odometry [55.11913183006984]
  視覚オドメトリー法を用いて推定したカメラポーズを用いて,車両の軌道制御をモデルに訓練する方法を示す。 車両の前方にカメラを設置することにより,複数の異なる走行経路からの軌跡情報を活用するスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-20T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。