論文の概要: Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing

• arxiv url: http://arxiv.org/abs/2501.09866v1
• Date: Thu, 16 Jan 2025 22:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:28.651762
• Title: Fine-grained Testing for Autonomous Driving Software: a Study on Autoware with LLM-driven Unit Testing
• Title（参考訳）: 自律運転ソフトウェアのきめ細かいテスト--LLM駆動単体テストを用いたオートウェアの研究
• Authors: Wenhan Wang, Xuan Xie, Yuheng Huang, Renzhi Wang, An Ran Chen, Lei Ma,
• Abstract要約: 本稿では、自律運転システム(ADS)ソースコードに対するテスト、特に単体テストに関する最初の研究について述べる。 大型言語モデル(LLM)による人書きテストケースと生成事例の両方を解析する。 AwTest-LLMは,テストカバレッジを向上し,テストケースパス率をAutowareパッケージ間で改善するための新しいアプローチである。
• 参考スコア（独自算出の注目度）: 12.067489008051208
• License:
• Abstract: Testing autonomous driving systems (ADS) is critical to ensuring their reliability and safety. Existing ADS testing works focuses on designing scenarios to evaluate system-level behaviors, while fine-grained testing of ADS source code has received comparatively little attention. To address this gap, we present the first study on testing, specifically unit testing, for ADS source code. Our study focuses on an industrial ADS framework, Autoware. We analyze both human-written test cases and those generated by large language models (LLMs). Our findings reveal that human-written test cases in Autoware exhibit limited test coverage, and significant challenges remain in applying LLM-generated tests for Autoware unit testing. To overcome these challenges, we propose AwTest-LLM, a novel approach to enhance test coverage and improve test case pass rates across Autoware packages.
• Abstract（参考訳）: 自律運転システム(ADS)のテストは、信頼性と安全性を確保するために重要である。 既存のADSテストはシステムレベルの振る舞いを評価するシナリオの設計に重点を置いているが、ADSソースコードのきめ細かいテストは比較的ほとんど注目されていない。 このギャップに対処するために、ADSソースコードのテスト、特に単体テストに関する最初の研究を紹介する。 本研究は,産業用ADSフレームワークであるAutowareに焦点を当てた。 人手によるテストケースと大規模言語モデル(LLM)によるテストケースを解析する。 以上の結果から,オートウェアの人手によるテストケースは限定的なテストカバレッジを示し,LLM生成テストを自動ウェア単体テストに適用する上で大きな課題が残ることが明らかとなった。 これらの課題を克服するために、テストカバレッジを高め、Autowareパッケージ間のテストケースパス率を改善する新しいアプローチであるAwTest-LLMを提案する。

関連論文リスト

• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration [7.833381226332574]
  大規模言語モデル(LLM)は、単体テストケースを生成する際、顕著な能力を示した。 本研究では,新しい単体テスト生成法であるTestARTを提案する。 TestARTは、自動生成と修復の反復の共進化を通じて、LLMベースのユニットテストを改善している。
  論文  参考訳（メタデータ） (2024-08-06T10:52:41Z)
• Unveiling Assumptions: Exploring the Decisions of AI Chatbots and Human Testers [2.5327705116230477]
  意思決定は、コード、要求仕様、その他のソフトウェアアーティファクトなど、さまざまな情報に依存します。 不明瞭な情報によって残されたギャップを埋めるために、私たちはしばしば、前提や直観、あるいは以前の経験に頼って意思決定をします。
  論文  参考訳（メタデータ） (2024-06-17T08:55:56Z)
• AutoSurvey: Large Language Models Can Automatically Write Surveys [77.0458309675818]
  本稿では,総合的な文献調査を自動作成する手法であるAutoSurveyを紹介する。 従来の調査論文は、膨大な量の情報と複雑さのために、課題に直面している。 我々の貢献には、調査問題に対する総合的な解決策、信頼性評価方法、AutoSurveyの有効性を実証する実験的な検証が含まれる。
  論文  参考訳（メタデータ） (2024-06-10T12:56:06Z)
• Test Oracle Automation in the era of LLMs [52.69509240442899]
  大規模言語モデル(LLM)は、多様なソフトウェアテストタスクに取り組むのに顕著な能力を示した。 本研究の目的は, 各種のオラクル生成時に生じる課題とともに, LLMs によるオラクルの自動化の可能性について検討することである。
  論文  参考訳（メタデータ） (2024-05-21T13:19:10Z)
• Survey of Computerized Adaptive Testing: A Machine Learning Perspective [66.26687542572974]
  コンピュータ適応テスト (Computerized Adaptive Testing, CAT) は、試験の熟練度を評価するための効率的で調整された方法である。 本稿では,この適応テスト手法に対する新たな視点を提示し,機械学習に着目したCATに関する調査を行うことを目的とする。
  論文  参考訳（メタデータ） (2024-03-31T15:09:47Z)
• Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems [2.291478393584594]
  シミュレーションに基づく自律運転システム(ADS)のテストにおけるフレキネスの検討 ADSにおけるテストフレキネスは一般的な現象であり,ランダム化アルゴリズムにより得られたテスト結果に大きな影響を及ぼす可能性が示唆された。 我々の機械学習(ML)分類器は、単一のテスト実行のみを使用して、脆弱なADSテストを効果的に識別する。
  論文  参考訳（メタデータ） (2023-11-30T18:08:02Z)
• Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of System-level Testing of Autonomous Vehicles [5.634825161148484]
  我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。 TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。 AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
  論文  参考訳（メタデータ） (2023-11-14T10:16:05Z)
• SUPERNOVA: Automating Test Selection and Defect Prevention in AAA Video Games Using Risk Based Testing and Machine Learning [62.997667081978825]
  従来の手法では、成長するソフトウェアシステムではスケールできないため、ビデオゲームのテストはますます難しいタスクになります。 自動化ハブとして機能しながら,テスト選択と欠陥防止を行うシステム SUPERNOVA を提案する。 この直接的な影響は、未公表のスポーツゲームタイトルの55%以上のテスト時間を減らすことが観察されている。
  論文  参考訳（メタデータ） (2022-03-10T00:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。