論文の概要: DeepKnowledge: Generalisation-Driven Deep Learning Testing
- arxiv url: http://arxiv.org/abs/2403.16768v1
- Date: Mon, 25 Mar 2024 13:46:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 20:03:02.309009
- Title: DeepKnowledge: Generalisation-Driven Deep Learning Testing
- Title（参考訳）: DeepKnowledge: 一般化駆動のディープラーニングテスト
- Authors: Sondess Missaoui, Simos Gerasimou, Nikolaos Matragkas,
- Abstract要約: DeepKnowledgeは、DNNベースのシステムの体系的なテスト手法である。
堅牢性を高め、'ブラックボックス'モデルの残留リスクを低減することを目的としている。
本報告では, 対人攻撃検出のための最先端のサーベイ基準に対して, 最大10ポイントの改善を報告した。
- 参考スコア（独自算出の注目度）: 2.526146573337397
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their unprecedented success, DNNs are notoriously fragile to small shifts in data distribution, demanding effective testing techniques that can assess their dependability. Despite recent advances in DNN testing, there is a lack of systematic testing approaches that assess the DNN's capability to generalise and operate comparably beyond data in their training distribution. We address this gap with DeepKnowledge, a systematic testing methodology for DNN-based systems founded on the theory of knowledge generalisation, which aims to enhance DNN robustness and reduce the residual risk of 'black box' models. Conforming to this theory, DeepKnowledge posits that core computational DNN units, termed Transfer Knowledge neurons, can generalise under domain shift. DeepKnowledge provides an objective confidence measurement on testing activities of DNN given data distribution shifts and uses this information to instrument a generalisation-informed test adequacy criterion to check the transfer knowledge capacity of a test set. Our empirical evaluation of several DNNs, across multiple datasets and state-of-the-art adversarial generation techniques demonstrates the usefulness and effectiveness of DeepKnowledge and its ability to support the engineering of more dependable DNNs. We report improvements of up to 10 percentage points over state-of-the-art coverage criteria for detecting adversarial attacks on several benchmarks, including MNIST, SVHN, and CIFAR.
- Abstract（参考訳）: 彼らの前例のない成功にもかかわらず、DNNはデータ配布の小さなシフトに対して脆弱で、その信頼性を評価する効果的なテスト技術を必要としている。
近年のDNNテストの進歩にもかかわらず、DNNのトレーニングディストリビューションのデータを越えた一般化と運用の能力を評価するための体系的なテストアプローチが欠如している。
我々は,知識一般化理論に基づいて構築されたDNNベースのシステムを対象としたシステムテスト手法であるDeepKnowledgeとのギャップに対処し,DNNの堅牢性を向上し,"ブラックボックス"モデルの残留リスクを低減することを目的とした。
この理論に従えば、DeepKnowledgeは、コア計算DNNユニットであるトランスファー知識ニューロンはドメインシフトの下で一般化できると仮定する。
DeepKnowledgeは、データ分散シフトが与えられたDNNのテストアクティビティに対する客観的な信頼度測定を提供し、この情報を使用して、一般化インフォームドテストの精度基準を設定して、テストセットの転送知識能力をチェックする。
複数のデータセットにまたがる複数のDNNの実証的評価と最先端の逆生成技術は、DeepKnowledgeの有用性と有効性を示し、より信頼性の高いDNNのエンジニアリングを支援する能力を示している。
本報告では,MNIST,SVHN,CIFARなど,複数のベンチマークに対する敵攻撃を検出するための最先端カバレッジ基準に対して,最大10ポイントの改善が報告されている。
関連論文リスト
- Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。
我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
論文 参考訳（メタデータ） (2024-03-15T01:28:08Z) - Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。
しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。
本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2024-03-11T21:54:52Z) - Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。
提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-20T22:34:53Z) - Enumerating Safe Regions in Deep Neural Networks with Provable
Probabilistic Guarantees [86.1362094580439]
安全プロパティとDNNが与えられた場合、安全であるプロパティ入力領域のすべての領域の集合を列挙する。
この問題の #P-hardness のため,epsilon-ProVe と呼ばれる効率的な近似法を提案する。
提案手法は, 許容限界の統計的予測により得られた出力可到達集合の制御可能な過小評価を利用する。
論文 参考訳（メタデータ） (2023-08-18T22:30:35Z) - TEASMA: A Practical Methodology for Test Adequacy Assessment of Deep Neural Networks [4.528286105252983]
TEASMAはDeep Neural Networksのテストセットの精度を正確に評価するために設計された包括的で実用的な方法論である。
遠隔ベースサプライズカバレッジ(DSC)、ライクフードベースサプライズカバレッジ(LSC)、入出力カバレッジ(IDC)、ミューテーションスコア(MS)の4つの測定値を用いてTEASMAを評価する。
論文 参考訳（メタデータ） (2023-08-02T17:56:05Z) - A Systematic Literature Review on Hardware Reliability Assessment
Methods for Deep Neural Networks [1.189955933770711]
ディープニューラルネットワーク(DNN)の信頼性は研究の必須課題である。
近年、DNNの信頼性を評価するためにいくつかの研究が公表されている。
本研究では,DNNの信頼性評価手法について,SLR(Systematic Literature Review)を実施している。
論文 参考訳（メタデータ） (2023-05-09T20:08:30Z) - DeepVigor: Vulnerability Value Ranges and Factors for DNNs' Reliability
Assessment [1.189955933770711]
Deep Neural Networks(DNN)とそのアクセラレータは、安全クリティカルなアプリケーションに頻繁にデプロイされている。
本稿では,DeepVigorと呼ばれる,高精度,微粒化,メトリック指向,アクセラレーションに依存しない新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-13T08:55:10Z) - On the Relationship Between Adversarial Robustness and Decision Region
in Deep Neural Network [26.656444835709905]
敵攻撃時のモデルロバスト性に影響を与えるディープニューラルネットワーク(DNN)の内部特性について検討する。
本稿では,より頻度の高いトレーニングサンプルを配置するPRS(Populated Region Set)の概念を提案する。
論文 参考訳（メタデータ） (2022-07-07T16:06:34Z) - Detecting OODs as datapoints with High Uncertainty [12.040347694782007]
ディープニューラルネットワーク(DNN)は、オフ・オブ・ディストリビューション・インプット(OOD)に非常に高い信頼を持つ誤った予測を生成することが知られている。
この制限は、自律運転、航空交通管理、医療診断などの高信頼システムにおけるDNNの採用における重要な課題の1つである。
モデルの予測が信頼できない入力を検出するために、いくつかの技術が開発されている。
我々は,これらの手法の検知能力の違いを実証し,不確実性の高いデータポイントとしてOODを検出するためのアンサンブルアプローチを提案する。
論文 参考訳（メタデータ） (2021-08-13T20:07:42Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。