論文の概要: Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing

• arxiv url: http://arxiv.org/abs/2501.09866v1
• Date: Thu, 16 Jan 2025 22:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:28.651762
• Title: Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
• Title（参考訳）: 自律運転ソフトウェアのきめ細かいテスト--LLM駆動単体テストを用いたオートウェアの研究
• Authors: Wenhan Wang, Xuan Xie, Yuheng Huang, Renzhi Wang, An Ran Chen, Lei Ma,
• Abstract要約: 本稿では、自律運転システム(ADS)ソースコードに対するテスト、特に単体テストに関する最初の研究について述べる。 大型言語モデル(LLM)による人書きテストケースと生成事例の両方を解析する。 AwTest-LLMは,テストカバレッジを向上し,テストケースパス率をAutowareパッケージ間で改善するための新しいアプローチである。
• 参考スコア（独自算出の注目度）: 12.067489008051208
• License:
• Abstract: Testing autonomous driving systems (ADS) is critical to ensuring their reliability and safety. Existing ADS testing works focuses on designing scenarios to evaluate system-level behaviors, while fine-grained testing of ADS source code has received comparatively little attention. To address this gap, we present the first study on testing, specifically unit testing, for ADS source code. Our study focuses on an industrial ADS framework, Autoware. We analyze both human-written test cases and those generated by large language models (LLMs). Our findings reveal that human-written test cases in Autoware exhibit limited test coverage, and significant challenges remain in applying LLM-generated tests for Autoware unit testing. To overcome these challenges, we propose AwTest-LLM, a novel approach to enhance test coverage and improve test case pass rates across Autoware packages.
• Abstract（参考訳）: 自律運転システム(ADS)のテストは、信頼性と安全性を確保するために重要である。 既存のADSテストはシステムレベルの振る舞いを評価するシナリオの設計に重点を置いているが、ADSソースコードのきめ細かいテストは比較的ほとんど注目されていない。 このギャップに対処するために、ADSソースコードのテスト、特に単体テストに関する最初の研究を紹介する。 本研究は,産業用ADSフレームワークであるAutowareに焦点を当てた。 人手によるテストケースと大規模言語モデル(LLM)によるテストケースを解析する。 以上の結果から,オートウェアの人手によるテストケースは限定的なテストカバレッジを示し,LLM生成テストを自動ウェア単体テストに適用する上で大きな課題が残ることが明らかとなった。 これらの課題を克服するために、テストカバレッジを高め、Autowareパッケージ間のテストケースパス率を改善する新しいアプローチであるAwTest-LLMを提案する。

関連論文リスト

• Adaptive Testing for LLM-Based Applications: A Diversity-based Approach [15.33985438101206]
  本稿では,適応ランダムテスト(ART)のような多様性に基づくテスト手法が,プロンプトテンプレートのテストに効果的に適用可能であることを示す。 いくつかの文字列ベース距離を探索する様々な実装を用いて得られた結果,本手法が試験予算の削減による故障の発見を可能にすることを確認した。
  論文  参考訳（メタデータ） (2025-01-23T08:53:12Z)
• DriveTester: A Unified Platform for Simulation-Based Autonomous Driving Testing [24.222344794923558]
  DriveTesterはApollo上に構築されたシミュレーションベースの統合テストプラットフォームである。 一貫性があり信頼性の高い環境を提供し、軽量な交通シミュレータを統合し、様々な最先端のADSテスト技術を取り入れている。
  論文  参考訳（メタデータ） (2024-12-17T08:24:05Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• AutoSurvey: Large Language Models Can Automatically Write Surveys [77.0458309675818]
  本稿では,総合的な文献調査を自動作成する手法であるAutoSurveyを紹介する。 従来の調査論文は、膨大な量の情報と複雑さのために、課題に直面している。 我々の貢献には、調査問題に対する総合的な解決策、信頼性評価方法、AutoSurveyの有効性を実証する実験的な検証が含まれる。
  論文  参考訳（メタデータ） (2024-06-10T12:56:06Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems [2.291478393584594]
  シミュレーションに基づく自律運転システム(ADS)のテストにおけるフレキネスの検討 ADSにおけるテストフレキネスは一般的な現象であり,ランダム化アルゴリズムにより得られたテスト結果に大きな影響を及ぼす可能性が示唆された。 我々の機械学習(ML)分類器は、単一のテスト実行のみを使用して、脆弱なADSテストを効果的に識別する。
  論文  参考訳（メタデータ） (2023-11-30T18:08:02Z)
• Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of System-level Testing of Autonomous Vehicles [5.634825161148484]
  我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。 TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。 AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
  論文  参考訳（メタデータ） (2023-11-14T10:16:05Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。