論文の概要: GIST: Generated Inputs Sets Transferability in Deep Learning
- arxiv url: http://arxiv.org/abs/2311.00801v2
- Date: Thu, 16 May 2024 20:37:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 20:33:24.045675
- Title: GIST: Generated Inputs Sets Transferability in Deep Learning
- Title(参考訳): GIST: 生成入力はディープラーニングにおける転送可能性を設定する
- Authors: Florian Tambon, Foutse Khomh, Giuliano Antoniol,
- Abstract要約: GIST(Generated Inputs Sets Transferability)は、テストセットの効率的な転送のための新しいアプローチである。
本稿では,テストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
- 参考スコア(独自算出の注目度): 12.147546375400749
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To foster the verifiability and testability of Deep Neural Networks (DNN), an increasing number of methods for test case generation techniques are being developed. When confronted with testing DNN models, the user can apply any existing test generation technique. However, it needs to do so for each technique and each DNN model under test, which can be expensive. Therefore, a paradigm shift could benefit this testing process: rather than regenerating the test set independently for each DNN model under test, we could transfer from existing DNN models. This paper introduces GIST (Generated Inputs Sets Transferability), a novel approach for the efficient transfer of test sets. Given a property selected by a user (e.g., neurons covered, faults), GIST enables the selection of good test sets from the point of view of this property among available test sets. This allows the user to recover similar properties on the transferred test sets as he would have obtained by generating the test set from scratch with a test cases generation technique. Experimental results show that GIST can select effective test sets for the given property to transfer. Moreover, GIST scales better than reapplying test case generation techniques from scratch on DNN models under test.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)の妥当性とテスト性を高めるため,テストケース生成手法の開発が進んでいる。
DNNモデルのテストに直面すると、ユーザーは既存のテスト生成テクニックを適用できる。
しかし、テスト中の各テクニックと各DNNモデルに対してそうする必要がある。
テスト中の各DNNモデルに対して独立してテストセットを再生するのではなく、既存のDNNモデルから移行することができる。
本稿では、テストセットの効率的な転送のための新しいアプローチであるGIST(Generated Inputs Sets Transferability)を紹介する。
ユーザによって選択されたプロパティ(例えば、ニューロンがカバーされ、障害)が与えられた場合、GISTは、利用可能なテストセットのうち、このプロパティの観点から良いテストセットを選択することができる。
これにより、ユーザは、テストケース生成技術を使って、スクラッチからテストセットを生成することで、転送されたテストセット上の同様のプロパティを回復することができる。
実験結果から,GISTは移動対象のプロパティに対して有効なテストセットを選択することができることがわかった。
さらに、GISTはテスト中のDNNモデルでスクラッチからテストケース生成テクニックを再適用するよりもスケールが優れている。
関連論文リスト
- DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。
単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。
Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
論文 参考訳(メタデータ) (2024-09-28T15:03:28Z) - Robust Black-box Testing of Deep Neural Networks using Co-Domain Coverage [18.355332126489756]
信頼できるデプロイメントには、マシンラーニングモデルの厳格なテストが必要です。
我々は、ディープニューラルネットワーク(DNN)の堅牢なテストのためのテストスーツを生成するための新しいブラックボックスアプローチを提案する。
論文 参考訳(メタデータ) (2024-08-13T09:42:57Z) - Novel Deep Neural Network Classifier Characterization Metrics with Applications to Dataless Evaluation [1.6574413179773757]
本研究では、サンプルデータセットを使わずに、ディープニューラルネットワーク(DNN)分類器のトレーニング品質を評価する。
CAFIR10およびCAFIR100データセットを用いて学習したResNet18の手法に関する実証的研究により、DNN分類器のデータレス評価が実際に可能であることを確認した。
論文 参考訳(メタデータ) (2024-07-17T20:40:46Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-22T20:27:40Z) - Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。
最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。
テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T17:18:21Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳(メタデータ) (2020-04-26T23:41:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。