論文の概要: How does Simulation-based Testing for Self-driving Cars match Human
Perception?
- arxiv url: http://arxiv.org/abs/2401.14736v1
- Date: Fri, 26 Jan 2024 09:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 15:25:51.128925
- Title: How does Simulation-based Testing for Self-driving Cars match Human
Perception?
- Title(参考訳): 自動運転車のシミュレーションに基づくテストは人間の知覚にどのようにマッチするか?
- Authors: Christian Birchler, Tanzil Kombarabettu Mohammed, Pooja Rani, Teodora
Nechita, Timo Kehrer, Sebastiano Panichella
- Abstract要約: 本研究では、人間が自動運転車のテストケースを安全、安全、現実、非現実的と認識する要因について検討する。
以上の結果から, 検査の失敗・通過の安全性と現実性の評価は, 要因によって異なる可能性が示唆された。
- 参考スコア(独自算出の注目度): 5.742965094549775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software metrics such as coverage and mutation scores have been extensively
explored for the automated quality assessment of test suites. While traditional
tools rely on such quantifiable software metrics, the field of self-driving
cars (SDCs) has primarily focused on simulation-based test case generation
using quality metrics such as the out-of-bound (OOB) parameter to determine if
a test case fails or passes. However, it remains unclear to what extent this
quality metric aligns with the human perception of the safety and realism of
SDCs, which are critical aspects in assessing SDC behavior. To address this
gap, we conducted an empirical study involving 50 participants to investigate
the factors that determine how humans perceive SDC test cases as safe, unsafe,
realistic, or unrealistic. To this aim, we developed a framework leveraging
virtual reality (VR) technologies, called SDC-Alabaster, to immerse the study
participants into the virtual environment of SDC simulators. Our findings
indicate that the human assessment of the safety and realism of failing and
passing test cases can vary based on different factors, such as the test's
complexity and the possibility of interacting with the SDC. Especially for the
assessment of realism, the participants' age as a confounding factor leads to a
different perception. This study highlights the need for more research on SDC
simulation testing quality metrics and the importance of human perception in
evaluating SDC behavior.
- Abstract(参考訳): カバレッジや突然変異スコアなどのソフトウェアメトリクスは、テストスイートの自動品質評価のために広く研究されている。
従来のツールはこのような定量的なソフトウェアメトリクスに依存しているが、自動運転車(SDC)の分野は、主にテストケースが失敗するか通過するかを決定するために、アウト・オブ・バウンド(OOB)パラメータのような品質指標を使用したシミュレーションベースのテストケース生成に焦点を当てている。
しかし、この基準がSDCの安全性と現実性に対する人間の認識とどの程度一致しているかは、SDCの行動を評価する上で重要な側面である。
このギャップに対処するために,50名の被験者を対象に,安全,安全,安全,現実的,非現実的なsdcテストケースを認識できる要因について実験を行った。
そこで我々は,SDCシミュレータの仮想環境に参加者を没入させるために,SDC-Alabasterと呼ばれる仮想現実技術を活用したフレームワークを開発した。
本研究は,テストの複雑さやSDCとの相互作用の可能性など,テストケースの失敗と通過の安全性と現実性に関する人間の評価が,異なる要因によって異なることを示唆している。
特にリアリズムの評価では、参加者の年齢を結合要因として、異なる認識に導く。
本研究では,SDCシミュレーションによる品質指標の検証の必要性と,SDCの行動評価における人間の知覚の重要性を明らかにする。
関連論文リスト
- Diversity-guided Search Exploration for Self-driving Cars Test
Generation through Frenet Space Encoding [4.135985106933988]
自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。
フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。
本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
論文 参考訳(メタデータ) (2024-01-26T06:57:00Z) - Reinforcement Learning with Human Feedback for Realistic Traffic
Simulation [53.85002640149283]
効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。
本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
論文 参考訳(メタデータ) (2023-09-01T19:29:53Z) - Identifying and Explaining Safety-critical Scenarios for Autonomous
Vehicles via Key Features [5.634825161148484]
本稿では,AVの安全でない動作を明らかにする能力に影響を及ぼすテストシナリオの重要な特徴を特定するために,ISA(インスタンス空間解析)を用いる。
ISAは、安全クリティカルなシナリオと通常の運転とを最も区別する機能を特定し、2Dのテストシナリオ結果(セーフ/アンセーフ)への影響を可視化する。
特定された機能の予測能力をテストするために、5つの機械学習分類器をトレーニングし、テストシナリオを安全または安全でないものとして分類する。
論文 参考訳(メタデータ) (2022-12-15T00:52:47Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳(メタデータ) (2022-01-27T22:15:56Z) - Mind the Gap! A Study on the Transferability of Virtual vs
Physical-world Testing of Autonomous Driving Systems [6.649715954440713]
私たちはDonkey Carのオープンソースフレームワークを活用して、物理的に小型の車両にデプロイされたSDCのテストと仮想シミュレーションされたテストとを経験的に比較します。
多くのテスト結果が仮想環境と物理環境の間で伝達される一方で、仮想環境と物理環境の間の現実的ギャップに寄与する重要な欠点も確認した。
論文 参考訳(メタデータ) (2021-12-21T14:28:35Z) - Generating and Characterizing Scenarios for Safety Testing of Autonomous
Vehicles [86.9067793493874]
最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。
次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。
事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
論文 参考訳(メタデータ) (2021-03-12T17:00:23Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳(メタデータ) (2020-11-17T22:24:26Z) - Evaluating the Safety of Deep Reinforcement Learning Models using
Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。
本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。
提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文 参考訳(メタデータ) (2020-10-19T11:18:06Z) - Formal Scenario-Based Testing of Autonomous Vehicles: From Simulation to
the Real World [8.498542964344987]
自動運転車の安全性のシナリオベース自動テストに対する新しいアプローチを提案する。
提案手法は,シナリオの形式的仕様と安全性特性を組み合わせた形式的手法に基づいている。
論文 参考訳(メタデータ) (2020-03-17T14:17:52Z) - Efficient statistical validation with edge cases to evaluate Highly
Automated Vehicles [6.198523595657983]
自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。
既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。
本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-04T04:35:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。