論文の概要: GIST: Generated Inputs Sets Transferability in Deep Learning
- arxiv url: http://arxiv.org/abs/2311.00801v1
- Date: Wed, 1 Nov 2023 19:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 15:55:34.355982
- Title: GIST: Generated Inputs Sets Transferability in Deep Learning
- Title(参考訳): GIST: 生成入力はディープラーニングにおける転送可能性を設定する
- Authors: Florian Tambon, Foutse Khomh, Giuliano Antoniol
- Abstract要約: 本稿では、ディープラーニングモデル間のテストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
我々は,2つのモードと異なるテストセット生成手順を用いて,GISTを断層タイプ被覆特性に対して実験的に評価し,その実現可能性を示す。
- 参考スコア(独自算出の注目度): 13.6526247611647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As the demand for verifiability and testability of neural networks continues
to rise, an increasing number of methods for generating test sets are being
developed. However, each of these techniques tends to emphasize specific
testing aspects and can be quite time-consuming. A straightforward solution to
mitigate this issue is to transfer test sets between some benchmarked models
and a new model under test, based on a desirable property one wishes to
transfer. This paper introduces GIST (Generated Inputs Sets Transferability), a
novel approach for the efficient transfer of test sets among Deep Learning
models. Given a property of interest that a user wishes to transfer (e.g.,
coverage criterion), GIST enables the selection of good test sets from the
point of view of this property among available ones from a benchmark. We
empirically evaluate GIST on fault types coverage property with two modalities
and different test set generation procedures to demonstrate the approach's
feasibility. Experimental results show that GIST can select an effective test
set for the given property to transfer it to the model under test. Our results
suggest that GIST could be applied to transfer other properties and could
generalize to different test sets' generation procedures and modalities
- Abstract(参考訳): ニューラルネットワークの妥当性とテスト容易性に対する需要が増加し続けており、テストセットを生成する方法が開発されている。
しかしながら、これらのテクニックはそれぞれ、特定のテスト面を強調する傾向があり、非常に時間がかかります。
この問題を緩和するための簡単な解決策は、いくつかのベンチマークされたモデルとテスト中の新しいモデルの間でテストセットを転送することである。
本稿では,深層学習モデル間のテストセットの効率的な転送のための新しいアプローチであるgist(create inputs set transferability)を提案する。
ユーザが転送したい興味のある特性(例えばカバレッジ基準)を考慮すれば、GISTはベンチマークから利用可能なものの中から、この特性の観点から良いテストセットを選択することができる。
2つのモードと異なるテストセット生成手順で,GISTを断層タイプカバレッジ特性で実証的に評価し,その実現可能性を示す。
実験の結果,gistは与えられた特性に対して有効なテストセットを選択し,それをテスト対象のモデルに転送できることがわかった。
我々はgistを他の特性の伝達に適用し,異なるテスト集合の生成手順とモダリティに一般化できることを示唆する。
関連論文リスト
- Deep anytime-valid hypothesis testing [29.273915933729057]
非パラメトリックなテスト問題に対する強力なシーケンシャルな仮説テストを構築するための一般的なフレームワークを提案する。
テスト・バイ・ベッティング・フレームワーク内で、機械学習モデルの表現能力を活用するための原則的なアプローチを開発する。
合成および実世界のデータセットに関する実証的な結果は、我々の一般的なフレームワークを用いてインスタンス化されたテストが、特殊なベースラインと競合することを示している。
論文 参考訳(メタデータ) (2023-10-30T09:46:19Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - Zero-shot Model Diagnosis [80.36063332820568]
ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。
本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
論文 参考訳(メタデータ) (2023-03-27T17:59:33Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - Model-Free Sequential Testing for Conditional Independence via Testing
by Betting [8.293345261434943]
提案されたテストでは、任意の依存関係構造を持つ入ってくるi.d.データストリームを分析できる。
重要な結果が検出されれば,オンライン上でのデータポイントの処理を可能とし,データ取得を停止する。
論文 参考訳(メタデータ) (2022-10-01T20:05:33Z) - TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。
また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
論文 参考訳(メタデータ) (2022-09-23T07:47:33Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。
ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-05-18T05:43:06Z) - Machine Learning Testing in an ADAS Case Study Using
Simulation-Integrated Bio-Inspired Search-Based Testing [7.5828169434922]
Deeperは、ディープニューラルネットワークベースの車線保持システムをテストするための障害検出テストシナリオを生成する。
新たに提案されたバージョンでは、新しいバイオインスパイアされた検索アルゴリズム、遺伝的アルゴリズム(GA)、$(mu+lambda)$および$(mu,lambda)$進化戦略(ES)、およびParticle Swarm Optimization(PSO)を利用する。
評価の結果,Deeperで新たに提案したテストジェネレータは,以前のバージョンよりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-03-22T20:27:40Z) - TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning
Tasks [14.547623982073475]
ディープラーニングシステムはテストやデバッグが難しいことで有名です。
テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。
本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
論文 参考訳(メタデータ) (2021-05-21T03:41:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。