論文の概要: A Review and Refinement of Surprise Adequacy

• arxiv url: http://arxiv.org/abs/2103.05939v1
• Date: Wed, 10 Mar 2021 08:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 14:41:44.107961
• Title: A Review and Refinement of Surprise Adequacy
• Title（参考訳）: 驚きの適切性のレビューと洗練
• Authors: Michael Weiss and Rwiddhi Chakraborty and Paolo Tonella
• Abstract要約: Surprise Adequacy (SA)は、ディープラーニング(DL)テストにおいて、新しく最も有望なAdequacy基準の1つである。 性能を最適化するが機能的に同等なsaの実装をリリースし,評価時間を最大97%削減した。 また,sa omputation アルゴリズムの改良版を提案し,さらなる評価速度の向上を目指す。
• 参考スコア（独自算出の注目度）: 3.867363075280544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surprise Adequacy (SA) is one of the emerging and most promising adequacy criteria for Deep Learning (DL) testing. As an adequacy criterion, it has been used to assess the strength of DL test suites. In addition, it has also been used to find inputs to a Deep Neural Network (DNN) which were not sufficiently represented in the training data, or to select samples for DNN retraining. However, computation of the SA metric for a test suite can be prohibitively expensive, as it involves a quadratic number of distance calculations. Hence, we developed and released a performance-optimized, but functionally equivalent, implementation of SA, reducing the evaluation time by up to 97\%. We also propose refined variants of the SA omputation algorithm, aiming to further increase the evaluation speed. We then performed an empirical study on MNIST, focused on the out-of-distribution detection capabilities of SA, which allowed us to reproduce parts of the results presented when SA was first released. The experiments show that our refined variants are substantially faster than plain SA, while producing comparable outcomes. Our experimental results exposed also an overlooked issue of SA: it can be highly sensitive to the non-determinism associated with the DNN training procedure.
• Abstract（参考訳）: Surprise Adequacy (SA)は、ディープラーニング(DL)テストにおいて、新しく最も有望なAdequacy基準の1つである。 適切な基準として、DLテストスイートの強度を評価するために使用されます。 さらに、トレーニングデータに十分に表現されていないディープニューラルネットワーク(DNN)への入力や、DNNの再トレーニング用のサンプルの選択にも使用されている。 しかし、テストスイートのSAメトリックの計算は、距離計算の二次数を含むため、非常に高価である可能性があります。 そこで,性能を最適化するが機能的に等価なsaの実装を開発・リリースし,評価時間を最大97\%削減した。 また,sa omputation アルゴリズムの改良版を提案し,さらなる評価速度の向上を目指す。 mnist について実験を行い,sa の分布検出能力に着目し,sa の初回リリース時に提示した結果の一部を再現した。 実験の結果, 改良された変種は通常のSAよりもかなり高速であり, 同等の結果が得られた。 私たちの実験結果は、dnnトレーニング手順に関連する非決定性に非常に敏感なsaの問題も露呈しています。

関連論文リスト

• Metric Entropy-Free Sample Complexity Bounds for Sample Average Approximation in Convex Stochastic Programming [0.6906005491572401]
  本稿では,凸問題や強凸プログラミング(SP)問題におけるサンプル平均近似(SAA)について検討する。 SAAのサンプルの複雑さは、計量エントロピーの定量化から完全に解放されることを示している。
  論文  参考訳（メタデータ） (2024-01-01T04:35:53Z)
• RLSAC: Reinforcement Learning enhanced Sample Consensus for End-to-End Robust Estimation [74.47709320443998]
  RLSAC(Reinforcement Learning enhanced SAmple Consensus framework for end-to-end robust estimation)を提案する。 RLSACはグラフニューラルネットワークを用いて、データとメモリの特徴の両方を利用して探索方向を案内し、次の最小セットをサンプリングする。 実験の結果, RLSACは特徴から学習し, より優れた仮説を徐々に探求できることがわかった。
  論文  参考訳（メタデータ） (2023-08-10T03:14:19Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Selecting Learnable Training Samples is All DETRs Need in Crowded Pedestrian Detection [72.97320260601347]
  混雑した歩行者検出では, サンプル選択法が不適切であるため, DETRの性能は相変わらず不満足である。 制約誘導ラベル割り当てスキーム(CGLA)からなる群集歩行者のサンプル選択を提案する。 実験の結果,提案したSSCPは推論のオーバーヘッドを発生させることなく,ベースラインを効果的に改善することがわかった。
  論文  参考訳（メタデータ） (2023-05-18T08:28:01Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Multi-label classification: do Hamming loss and subset accuracy really conflict with each other? [31.616965301725557]
  ラベル空間が大きすぎると、そのサロゲート損失でHLを最適化することは、SAにとって有望な性能を持つことを示す。 本手法は,アルゴリズムの学習保証を,ランク付け損失などの他の尺度で分析するために応用できる。
  論文  参考訳（メタデータ） (2020-11-16T09:13:16Z)
• Efficient Estimation and Evaluation of Prediction Rules in Semi-Supervised Settings under Stratified Sampling [6.930951733450623]
  本稿では,2段階の半教師付き学習(SSL)手法を提案する。 ステップIでは、非ランダムサンプリングを考慮した非線形基底関数による重み付き回帰により、欠落ラベルをインプットする。 ステップIIでは、結果の予測器の整合性を確保するために、初期計算を増強する。
  論文  参考訳（メタデータ） (2020-10-19T12:54:45Z)
• CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors and Efficient Neural Networks [51.589769497681175]
  新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。 SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。 我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-20T21:47:28Z)
• Noisy Adaptive Group Testing using Bayesian Sequential Experimental Design [63.48989885374238]
  病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。 本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
  論文  参考訳（メタデータ） (2020-04-26T23:41:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。