論文の概要: Context-Aware Fuzzing for Robustness Enhancement of Deep Learning Models
- arxiv url: http://arxiv.org/abs/2407.12428v1
- Date: Wed, 17 Jul 2024 09:31:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 17:47:48.123686
- Title: Context-Aware Fuzzing for Robustness Enhancement of Deep Learning Models
- Title（参考訳）: 深層学習モデルのロバスト性向上のための文脈認識ファジリング
- Authors: Haipeng Wang, Zhengyuan Wei, Qilin Zhou, Wing-Kwong Chan,
- Abstract要約: 我々は、コンテキスト信頼(CC)と呼ばれる新しいテスト指標を提案する。
CCは、テストケースの予測ラベルに予測される平均確率の観点から、テストケースの周囲のサンプルを通してテストケースを測定する。
Cloverは、これらのペアのシードとテストケースの差分を計算する。
- 参考スコア（独自算出の注目度）: 3.4790378315775348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the testing-retraining pipeline for enhancing the robustness property of deep learning (DL) models, many state-of-the-art robustness-oriented fuzzing techniques are metric-oriented. The pipeline generates adversarial examples as test cases via such a DL testing technique and retrains the DL model under test with test suites that contain these test cases. On the one hand, the strategies of these fuzzing techniques tightly integrate the key characteristics of their testing metrics. On the other hand, they are often unaware of whether their generated test cases are different from the samples surrounding these test cases and whether there are relevant test cases of other seeds when generating the current one. We propose a novel testing metric called Contextual Confidence (CC). CC measures a test case through the surrounding samples of a test case in terms of their mean probability predicted to the prediction label of the test case. Based on this metric, we further propose a novel fuzzing technique Clover as a DL testing technique for the pipeline. In each fuzzing round, Clover first finds a set of seeds whose labels are the same as the label of the seed under fuzzing. At the same time, it locates the corresponding test case that achieves the highest CC values among the existing test cases of each seed in this set of seeds and shares the same prediction label as the existing test case of the seed under fuzzing that achieves the highest CC value. Clover computes the piece of difference between each such pair of a seed and a test case. It incrementally applies these pieces of differences to perturb the current test case of the seed under fuzzing that achieves the highest CC value and to perturb the resulting samples along the gradient to generate new test cases for the seed under fuzzing.
- Abstract（参考訳）: ディープラーニング(DL)モデルのロバスト性向上のためのテスト訓練パイプラインでは,多くの最先端のロバスト性指向ファジリング技術がメトリック指向である。
パイプラインは、このようなDLテスト技術を介してテストケースとして逆例を生成し、これらのテストケースを含むテストスイートでテスト中のDLモデルをトレーニングする。
一方、これらのファジィング手法の戦略は、テストメトリクスの重要な特徴をしっかりと統合しています。
一方、これらのテストケースは、これらのテストケースを取り巻くサンプルと異なり、また、現在のテストケースを生成する際に、他のシードのテストケースが関係しているかどうかを知らないことが多い。
本稿では,コンテキスト信頼(CC)と呼ばれる新しいテスト指標を提案する。
CCは、テストケースの予測ラベルに予測される平均確率の観点から、テストケースの周辺サンプルを通してテストケースを測定する。
この測定値に基づいて,パイプラインのDLテスト手法として,新しいファジリング手法であるCloverを提案する。
各ファジングラウンドで、クローバーはまず、ファジング中の種子のラベルと同じラベルを持つ種子のセットを見つける。
同時に、各種子の既存のテストケースのうち、最も高いCC値を達成する対応するテストケースを特定し、最も高いCC値を得るファジングの下で、種子の既存のテストケースと同じ予測ラベルを共有する。
Cloverは、これらのペアのシードとテストケースの差分を計算する。
これらの相違点を段階的に応用し, ファジング条件下での種子の現在の試験ケースを摂動させ, 得られた試料を勾配に沿って摂動させ, ファジング条件下での新しい試験ケースを生成する。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳（メタデータ） (2024-09-28T15:03:28Z) - A framework for paired-sample hypothesis testing for high-dimensional
data [7.400168551191579]
我々は、各一対のインスタンスを接続するラインセグメントの双分割超平面によって定義される決定規則によって、スコアリング関数が生成できるという考えを提唱した。
まず、各一対の双分極超平面とホッジス・リーマン推定器から導出される集約規則を推定する。
論文 参考訳（メタデータ） (2023-09-28T09:17:11Z) - Active Sequential Two-Sample Testing [18.99517340397671]
サンプル測定が安価に利用できる新しいシナリオでは,この2サンプルテストの問題を考慮する。
我々は,emphactiveNIST-sampleテストフレームワークを考案し,逐次クエリだけでなく,emphactivelyクエリも考案した。
実際に、我々はフレームワークのインスタンス化を導入し、いくつかの実験を用いて評価する。
論文 参考訳（メタデータ） (2023-01-30T02:23:49Z) - Compress Then Test: Powerful Kernel Testing in Near-linear Time [27.723775378945643]
カーネルの2サンプルテストは、$n$のサンプルポイントに基づいたディストリビューションのペアを識別するための強力なフレームワークを提供する。
我々は,サンプル圧縮に基づく高性能カーネルテストのための新しいフレームワークであるCompress Then Test (CTT)を紹介する。
CTTは、各$n$の点サンプルを小さいが証明可能な高忠実度コアセットに圧縮することで、高価な試験を安価に近似する。
論文 参考訳（メタデータ） (2023-01-14T21:02:58Z) - Sequential Permutation Testing of Random Forest Variable Importance
Measures [68.8204255655161]
そこで本研究では、逐次置換テストと逐次p値推定を用いて、従来の置換テストに関連する高い計算コストを削減することを提案する。
シミュレーション研究の結果、シーケンシャルテストの理論的性質が当てはまることを確認した。
本手法の数値安定性を2つの応用研究で検討した。
論文 参考訳（メタデータ） (2022-06-02T20:16:50Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-05-18T05:43:06Z) - Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。
まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。
各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
論文 参考訳（メタデータ） (2022-03-21T10:20:21Z) - On the use of test smells for prediction of flaky tests [0.0]
不安定な検査は 検査結果の評価を妨げ コストを増大させる
既存のテストケース語彙の使用に基づくアプローチは、文脈に敏感であり、過度に適合する傾向がある。
フレキな検査の予測因子として, 試験臭の使用について検討した。
論文 参考訳（メタデータ） (2021-08-26T13:21:55Z) - TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning
Tasks [14.547623982073475]
ディープラーニングシステムはテストやデバッグが難しいことで有名です。
テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。
本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
論文 参考訳（メタデータ） (2021-05-21T03:41:10Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。