論文の概要: DeepMetis: Augmenting a Deep Learning Test Set to Increase its Mutation Score

• arxiv url: http://arxiv.org/abs/2109.07514v1
• Date: Wed, 15 Sep 2021 18:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 16:31:49.286369
• Title: DeepMetis: Augmenting a Deep Learning Test Set to Increase its Mutation Score
• Title（参考訳）: DeepMetis: 突然変異スコアを高めるためのディープラーニングテストセットの拡張
• Authors: Vincenzo Riccio, Nargiz Humbatova, Gunel Jahangirova, Paolo Tonella
• Abstract要約: ツールは与えられたテストセットを増強し、ミュータントを平均で63%検出する能力を高めるのに効果的である。 アウトアウト実験では、強化されたテストセットが目に見えないミュータントを露出できることを示している。
• 参考スコア（独自算出の注目度）: 4.444652484439581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning (DL) components are routinely integrated into software systems that need to perform complex tasks such as image or natural language processing. The adequacy of the test data used to test such systems can be assessed by their ability to expose artificially injected faults (mutations) that simulate real DL faults. In this paper, we describe an approach to automatically generate new test inputs that can be used to augment the existing test set so that its capability to detect DL mutations increases. Our tool DeepMetis implements a search based input generation strategy. To account for the non-determinism of the training and the mutation processes, our fitness function involves multiple instances of the DL model under test. Experimental results show that \tool is effective at augmenting the given test set, increasing its capability to detect mutants by 63% on average. A leave-one-out experiment shows that the augmented test set is capable of exposing unseen mutants, which simulate the occurrence of yet undetected faults.
• Abstract（参考訳）: ディープラーニング(DL)コンポーネントは、画像や自然言語処理のような複雑なタスクを実行する必要があるソフトウェアシステムに日常的に統合される。 このようなシステムをテストするために使用されるテストデータの妥当性は、実際のdl障害をシミュレートする人工的に注入された障害(変異)を露出する能力によって評価できる。 本稿では,dl変異の検出能力を高めるために,既存のテストセットを増強するために使用できる新しいテスト入力を自動的に生成する手法について述べる。 DeepMetisは検索ベースの入力生成戦略を実装している。 トレーニングの非決定性と突然変異過程を考慮するため、我々の適合機能はテスト中のdlモデルの複数のインスタンスを含む。 実験の結果,<tool</to>は与えられたテストセットの増強に有効であり,変異体を平均63%検出する能力を高めた。 アウトアウト実験では、拡張テストセットが未確認のミュータントを露出し、未検出の障害の発生をシミュレートできることが示されている。

関連論文リスト

• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• muPRL: A Mutation Testing Pipeline for Deep Reinforcement Learning based on Real Faults [19.32186653723838]
  まず,レポジトリマイニングによって得られた実RL断層の分類について述べる。 次に、そのような実断層から派生した突然変異演算子を示し、ツール muPRL に実装する。 実験結果から, muPRLは弱い試験発電機と強い判別に有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-27T15:45:13Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  大言語モデル(LLM)は、ジェネラリストアシスタントとして大きな可能性を示している。 これらのモデルは、非毒性や脱獄の試みに対するレジリエンスなど、望ましい行動特性を示すことが重要である。 本稿では,パラメータの小さなサブセットを直接編集することで,LLMの特定の振る舞いを効果的に調節できることを観察する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)
• An Empirical Evaluation of Manually Created Equivalent Mutants [54.02049952279685]
  手動で作成した突然変異体の10%未満は等価である。 驚くべきことに、我々の発見は、開発者の大部分が同等のミュータントを正確に識別するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2024-04-14T13:04:10Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Contextual Predictive Mutation Testing [17.832774161583036]
  MutationBERTは、ソースメソッドの突然変異とテストメソッドを同時にエンコードする予測突然変異テストのアプローチである。 精度が高いため、MutationBERTは、ライブミュータントをチェック・検証する以前のアプローチで費やされた時間の33%を節約する。 我々は、入力表現と、テストマトリックスレベルからテストスイートレベルまで予測を引き上げるためのアグリゲーションアプローチを検証し、同様の性能改善を見出した。
  論文  参考訳（メタデータ） (2023-09-05T17:00:15Z)
• Mutation Testing of Deep Reinforcement Learning Based on Real Faults [11.584571002297217]
  本稿では,MT(Reinforcement Learning, 強化学習)システムに拡張するために,既存のMT(Mutation Testing)アプローチに基づいて構築する。 本研究は, 突然変異致死定義の設計選択が, 生成したテストケースだけでなく, 変異が致死するか否かにも影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-01-13T16:45:56Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Machine Learning Testing in an ADAS Case Study Using Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
  Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。 新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。 評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-03-22T20:27:40Z)
• DeepMutation: A Neural Mutation Tool [26.482720255691646]
  DeepMutationは、ディープラーニングモデルを完全に自動化されたツールチェーンにラップするツールです。 実際の断層から学んだ変異体を生成し、注入し、テストすることができる。
  論文  参考訳（メタデータ） (2020-02-12T01:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。