論文の概要: RBT4DNN: Requirements-based Testing of Neural Networks

• arxiv url: http://arxiv.org/abs/2504.02737v2
• Date: Fri, 04 Apr 2025 01:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 11:27:44.778232
• Title: RBT4DNN: Requirements-based Testing of Neural Networks
• Title（参考訳）: RBT4DNN: ニューラルネットワークの要求ベーステスト
• Authors: Nusrat Jahan Mozumder, Felipe Toledo, Swaroopa Dola, Matthew B. Dwyer,
• Abstract要約: ディープニューラルネットワーク(DNN)テストは、障害が深刻な結果をもたらすクリティカルシステムの信頼性と安全性に不可欠である。 本稿では, セマンティックな特徴空間で定式化された自然言語要求を用いて, テストスイートを作成するための要件ベースのテストスイート生成手法を提案する。 MNIST、CelebA-HQ、ImageNet、および自律運転データセットに関する我々の実験は、生成されたテストスイートが現実的で、多様性があり、事前条件と整合性があり、欠陥を明らかにすることができることを示した。
• 参考スコア（独自算出の注目度）: 16.90562395404293
• License:
• Abstract: Deep neural network (DNN) testing is crucial for the reliability and safety of critical systems, where failures can have severe consequences. Although various techniques have been developed to create robustness test suites, requirements-based testing for DNNs remains largely unexplored - yet such tests are recognized as an essential component of software validation of critical systems. In this work, we propose a requirements-based test suite generation method that uses structured natural language requirements formulated in a semantic feature space to create test suites by prompting text-conditional latent diffusion models with the requirement precondition and then using the associated postcondition to define a test oracle to judge outputs of the DNN under test. We investigate the approach using fine-tuned variants of pre-trained generative models. Our experiments on the MNIST, CelebA-HQ, ImageNet, and autonomous car driving datasets demonstrate that the generated test suites are realistic, diverse, consistent with preconditions, and capable of revealing faults.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)テストは、障害が深刻な結果をもたらすクリティカルシステムの信頼性と安全性に不可欠である。 堅牢性テストスイートを作成するために様々な技術が開発されているが、DNNの要件ベースのテストはほとんど探索されていない。 本研究では,要求条件付きテキスト条件付き潜時拡散モデルを作成し,関連する後条件を用いて,テスト中のDNNの出力を判断するためのテストオラクルを定義することで,セマンティック特徴空間で定式化された構造化自然言語要求を用いてテストスイートを作成する。 事前学習した生成モデルの微調整によるアプローチについて検討する。 MNIST、CelebA-HQ、ImageNet、および自律運転データセットに関する我々の実験は、生成されたテストスイートが現実的で、多様性があり、事前条件と整合性があり、欠陥を明らかにすることができることを示した。

関連論文リスト

• Context-Aware Testing: A New Paradigm for Model Testing with Large Language Models [49.06068319380296]
  我々は,コンテキストを帰納バイアスとして用いて意味のあるモデル障害を探索するコンテキスト認識テスト(CAT)を導入する。 最初のCATシステムSMART Testingをインスタンス化し、大きな言語モデルを用いて、関連性があり、起こりうる失敗を仮説化します。
  論文  参考訳（メタデータ） (2024-10-31T15:06:16Z)
• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• Test Generation Strategies for Building Failure Models and Explaining Spurious Failures [4.995172162560306]
  テスト入力は、テスト対象のシステムが故障している場合だけでなく、入力が無効または非現実的である場合も失敗する。 テストインプットに対して解釈可能なルールを推論し,重大な障害を引き起こす障害モデルを構築することを提案する。 提案手法は, 平均精度83%の故障モデルを生成する。
  論文  参考訳（メタデータ） (2023-12-09T18:36:15Z)
• GIST: Generated Inputs Sets Transferability in Deep Learning [12.147546375400749]
  GIST(Generated Inputs Sets Transferability)は、テストセットの効率的な転送のための新しいアプローチである。 本稿では,テストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
  論文  参考訳（メタデータ） (2023-11-01T19:35:18Z)
• Deep anytime-valid hypothesis testing [29.273915933729057]
  非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。 テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。 合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
  論文  参考訳（メタデータ） (2023-10-30T09:46:19Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
  本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。 また、局所的な一貫性の結果に基づいた理論的保証も提供する。 この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
  論文  参考訳（メタデータ） (2022-11-17T15:48:06Z)
• Machine Learning Testing in an ADAS Case Study Using Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
  Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。 新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。 評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-22T20:27:40Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
  ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。 最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。 テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T17:18:21Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。