論文の概要: How does Simulation-based Testing for Self-driving Cars match Human Perception?

• arxiv url: http://arxiv.org/abs/2401.14736v1
• Date: Fri, 26 Jan 2024 09:58:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 15:25:51.128925
• Title: How does Simulation-based Testing for Self-driving Cars match Human Perception?
• Title（参考訳）: 自動運転車のシミュレーションに基づくテストは人間の知覚にどのようにマッチするか?
• Authors: Christian Birchler, Tanzil Kombarabettu Mohammed, Pooja Rani, Teodora Nechita, Timo Kehrer, Sebastiano Panichella
• Abstract要約: 本研究では、人間が自動運転車のテストケースを安全、安全、現実、非現実的と認識する要因について検討する。 以上の結果から, 検査の失敗・通過の安全性と現実性の評価は, 要因によって異なる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 5.742965094549775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software metrics such as coverage and mutation scores have been extensively explored for the automated quality assessment of test suites. While traditional tools rely on such quantifiable software metrics, the field of self-driving cars (SDCs) has primarily focused on simulation-based test case generation using quality metrics such as the out-of-bound (OOB) parameter to determine if a test case fails or passes. However, it remains unclear to what extent this quality metric aligns with the human perception of the safety and realism of SDCs, which are critical aspects in assessing SDC behavior. To address this gap, we conducted an empirical study involving 50 participants to investigate the factors that determine how humans perceive SDC test cases as safe, unsafe, realistic, or unrealistic. To this aim, we developed a framework leveraging virtual reality (VR) technologies, called SDC-Alabaster, to immerse the study participants into the virtual environment of SDC simulators. Our findings indicate that the human assessment of the safety and realism of failing and passing test cases can vary based on different factors, such as the test's complexity and the possibility of interacting with the SDC. Especially for the assessment of realism, the participants' age as a confounding factor leads to a different perception. This study highlights the need for more research on SDC simulation testing quality metrics and the importance of human perception in evaluating SDC behavior.
• Abstract（参考訳）: カバレッジや突然変異スコアなどのソフトウェアメトリクスは、テストスイートの自動品質評価のために広く研究されている。 従来のツールはこのような定量的なソフトウェアメトリクスに依存しているが、自動運転車(SDC)の分野は、主にテストケースが失敗するか通過するかを決定するために、アウト・オブ・バウンド(OOB)パラメータのような品質指標を使用したシミュレーションベースのテストケース生成に焦点を当てている。 しかし、この基準がSDCの安全性と現実性に対する人間の認識とどの程度一致しているかは、SDCの行動を評価する上で重要な側面である。 このギャップに対処するために,50名の被験者を対象に,安全,安全,安全,現実的,非現実的なsdcテストケースを認識できる要因について実験を行った。 そこで我々は,SDCシミュレータの仮想環境に参加者を没入させるために,SDC-Alabasterと呼ばれる仮想現実技術を活用したフレームワークを開発した。 本研究は,テストの複雑さやSDCとの相互作用の可能性など,テストケースの失敗と通過の安全性と現実性に関する人間の評価が,異なる要因によって異なることを示唆している。 特にリアリズムの評価では、参加者の年齢を結合要因として、異なる認識に導く。 本研究では,SDCシミュレーションによる品質指標の検証の必要性と,SDCの行動評価における人間の知覚の重要性を明らかにする。

関連論文リスト

• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
  大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。 現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。 本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:57:42Z)
• Diversity-guided Search Exploration for Self-driving Cars Test Generation through Frenet Space Encoding [4.135985106933988]
  自動運転車(SDC)の台頭は、動的環境に対処する上で重要な安全上の課題を提示している。 フィールドテストは不可欠であるが、現在の手法では重要なSDCシナリオを評価するための多様性が欠如している。 本研究では, ディープラーニングバニラ変圧器モデルを用いて, アウトオブバウンド状態に導く可能性を示す。
  論文  参考訳（メタデータ） (2024-01-26T06:57:00Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Identifying and Explaining Safety-critical Scenarios for Autonomous Vehicles via Key Features [5.634825161148484]
  本稿では,AVの安全でない動作を明らかにする能力に影響を及ぼすテストシナリオの重要な特徴を特定するために,ISA(インスタンス空間解析)を用いる。 ISAは、安全クリティカルなシナリオと通常の運転とを最も区別する機能を特定し、2Dのテストシナリオ結果(セーフ/アンセーフ)への影響を可視化する。 特定された機能の予測能力をテストするために、5つの機械学習分類器をトレーニングし、テストシナリオを安全または安全でないものとして分類する。
  論文  参考訳（メタデータ） (2022-12-15T00:52:47Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• Mind the Gap! A Study on the Transferability of Virtual vs Physical-world Testing of Autonomous Driving Systems [6.649715954440713]
  私たちはDonkey Carのオープンソースフレームワークを活用して、物理的に小型の車両にデプロイされたSDCのテストと仮想シミュレーションされたテストとを経験的に比較します。 多くのテスト結果が仮想環境と物理環境の間で伝達される一方で、仮想環境と物理環境の間の現実的ギャップに寄与する重要な欠点も確認した。
  論文  参考訳（メタデータ） (2021-12-21T14:28:35Z)
• Generating and Characterizing Scenarios for Safety Testing of Autonomous Vehicles [86.9067793493874]
  最先端運転シミュレータを用いて,テストシナリオを特徴付け,生成するための効率的なメカニズムを提案する。 次世代シミュレーション(NGSIM)プロジェクトにおける実運転データの特徴付けに本手法を用いる。 事故回避の複雑さに基づいてメトリクスを定義してシナリオをランク付けし、事故発生の可能性を最小限に抑えるための洞察を提供します。
  論文  参考訳（メタデータ） (2021-03-12T17:00:23Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)
• Efficient statistical validation with edge cases to evaluate Highly Automated Vehicles [6.198523595657983]
  自動運転車の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているようだ。 既存の標準は、検証が要求をカバーするテストケースのセットだけを必要とする決定論的プロセスに焦点を当てています。 本稿では, 自動生成テストケースを最悪のシナリオに偏り付け, システムの挙動の統計的特性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-04T04:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。