論文の概要: Efficient Testing of Deep Neural Networks via Decision Boundary Analysis
- arxiv url: http://arxiv.org/abs/2207.10942v1
- Date: Fri, 22 Jul 2022 08:39:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 13:32:23.749243
- Title: Efficient Testing of Deep Neural Networks via Decision Boundary Analysis
- Title（参考訳）: 決定境界解析によるディープニューラルネットワークの効率的なテスト
- Authors: Qiang Hu, Yuejun Guo, Xiaofei Xie, Maxime Cordy, Lei Ma, Mike
Papadakis, Yves Le Traon
- Abstract要約: 我々は、新しいラベルのないデータに基づいてDNNの性能を推定できるAriesという新しい手法を提案する。
Aries による推定精度は 0.03% -- 2.60% (平均 0.61%) しか真の精度から外れていない。
- 参考スコア（独自算出の注目度）: 28.868479656437145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning plays a more and more important role in our daily life due to
its competitive performance in multiple industrial application domains. As the
core of DL-enabled systems, deep neural networks automatically learn knowledge
from carefully collected and organized training data to gain the ability to
predict the label of unseen data. Similar to the traditional software systems
that need to be comprehensively tested, DNNs also need to be carefully
evaluated to make sure the quality of the trained model meets the demand. In
practice, the de facto standard to assess the quality of DNNs in industry is to
check their performance (accuracy) on a collected set of labeled test data.
However, preparing such labeled data is often not easy partly because of the
huge labeling effort, i.e., data labeling is labor-intensive, especially with
the massive new incoming unlabeled data every day. Recent studies show that
test selection for DNN is a promising direction that tackles this issue by
selecting minimal representative data to label and using these data to assess
the model. However, it still requires human effort and cannot be automatic. In
this paper, we propose a novel technique, named Aries, that can estimate the
performance of DNNs on new unlabeled data using only the information obtained
from the original test data. The key insight behind our technique is that the
model should have similar prediction accuracy on the data which have similar
distances to the decision boundary. We performed a large-scale evaluation of
our technique on 13 types of data transformation methods. The results
demonstrate the usefulness of our technique that the estimated accuracy by
Aries is only 0.03% -- 2.60% (on average 0.61%) off the true accuracy. Besides,
Aries also outperforms the state-of-the-art selection-labeling-based methods in
most (96 out of 128) cases.
- Abstract（参考訳）: ディープラーニングは、複数の産業アプリケーションドメインで競争力があるため、私たちの日常生活においてますます重要な役割を担います。
dl対応システムの中核として、深層ニューラルネットワークは注意深く収集され組織化されたトレーニングデータから知識を自動的に学習し、目に見えないデータのラベルを予測する能力を得る。
包括的なテストが必要となる従来のソフトウェアシステムと同様に、dnnはトレーニングされたモデルの品質が需要を満たすように慎重に評価する必要があります。
実際には、業界におけるDNNの品質を評価するためのデファクトスタンダードは、ラベル付きテストデータの集合上でのパフォーマンス(精度)をチェックすることである。
しかし、このようなラベル付きデータの準備は、データラベリングが労働集約的であること、特に新しいラベル付きデータが毎日やってくることなどによって、容易ではないことが多い。
近年の研究では、DNNのテスト選択は、ラベル付けに最小限の代表データを選択し、モデルを評価することでこの問題に対処する有望な方向であることが示されている。
しかし、人間の努力は必要であり、自動化はできない。
本稿では,従来のテストデータから得られる情報のみを用いて,新たなラベル付きデータに対してDNNの性能を推定する手法であるAriesを提案する。
この手法の背景にある重要な洞察は、決定境界と同じような距離を持つデータに対して、モデルが同様の予測精度を持つべきであるということです。
提案手法を13種類のデータ変換手法を用いて大規模に評価した。
その結果,Aries による推定精度は 0.03% -- 2.60% (平均 0.61%) しか真の精度から外れていないことがわかった。
さらにariesは、128件中96件で最先端の選択ラベルベースの手法を上回っている。
関連論文リスト
- Improving the accuracy of automated labeling of specimen images datasets via a confidence-based process [9.0255922670433]
本稿では,自動ラベリング精度を大幅に向上させる手法を提案する。
初期精度の86%を生んだナイーブモデルでは,性能が向上することが実証された。
このアプローチを様々な方法で検証した後、60,000以上のハーバリウム標本の大規模なデータセットに注釈を付けました。
論文 参考訳（メタデータ） (2024-11-15T09:39:12Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳（メタデータ） (2023-04-07T23:51:07Z) - Labeling-Free Comparison Testing of Deep Learning Models [28.47632100019289]
本研究では,ラベリング作業の限界を克服し,ランダム性をサンプリングするためのラベリングフリー比較試験手法を提案する。
提案手法は,データセットや分布シフトに関わらず,Spearmanの相関値とKendallの$tau$に対して,最大0.74および0.53のベースライン手法より優れている。
論文 参考訳（メタデータ） (2022-04-08T10:55:45Z) - Debiased Pseudo Labeling in Self-Training [77.83549261035277]
ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。
ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。
疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
論文 参考訳（メタデータ） (2022-02-15T02:14:33Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - IADA: Iterative Adversarial Data Augmentation Using Formal Verification
and Expert Guidance [1.599072005190786]
本稿では,ニューラルネットワークモデルを学習するための反復的逆データ拡張フレームワークを提案する。
提案するフレームワークは,人工的な2Dデータセット,MNISTデータセット,人間の動作データセットに適用される。
学習モデルのロバスト性や精度を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-08-16T03:05:53Z) - Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。
本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。
この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。
本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-11T01:36:08Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Self-Competitive Neural Networks [0.0]
ディープニューラルネットワーク(DNN)は、多くのアプリケーションにおける分類問題の精度を改善している。
DNNをトレーニングする際の課題の1つは、その正確性を高め、過度な適合に苦しむことを避けるために、豊富なデータセットによって供給される必要があることである。
近年,データ拡張手法の提案が盛んに行われている。
本稿では,各クラスのドメイン・オブ・アトラクション(DoAs)を洗練させるために,逆データを生成します。このアプローチでは,各段階において,プライマリデータと生成された逆データ(その段階まで)から学習したモデルを用いて,プライマリデータを複雑な方法で操作する。
論文 参考訳（メタデータ） (2020-08-22T12:28:35Z) - DEAL: Deep Evidential Active Learning for Image Classification [0.0]
アクティブラーニング(AL)は、限られたラベル付きデータの問題を緩和するためのアプローチである。
CNNの最近のAL手法は、ラベル付けするインスタンスの選択に異なる解決策を提案する。
本稿では,ラベルのないデータから高い予測不確かさを捕捉して効率よく学習する新しいALアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-22T11:14:23Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。