論文の概要: Testing Feedforward Neural Networks Training Programs
- arxiv url: http://arxiv.org/abs/2204.00694v1
- Date: Fri, 1 Apr 2022 20:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 04:41:57.207830
- Title: Testing Feedforward Neural Networks Training Programs
- Title（参考訳）: フィードフォワードニューラルネットワークトレーニングプログラムのテスト
- Authors: Houssem Ben Braiek and Foutse Khomh
- Abstract要約: ディープニューラルネットワークの動作の不整合を露呈するテストケースを生成するために、複数のテスト技術が提案されている。
これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。
本稿では,DNNトレーニングプログラムのエンドツーエンドなプロパティベースのデバッグ手法であるTheDeepCheckerを提案する。
- 参考スコア（独自算出の注目度）: 13.249453757295083
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nowadays, we are witnessing an increasing effort to improve the performance
and trustworthiness of Deep Neural Networks (DNNs), with the aim to enable
their adoption in safety critical systems such as self-driving cars. Multiple
testing techniques are proposed to generate test cases that can expose
inconsistencies in the behavior of DNN models. These techniques assume
implicitly that the training program is bug-free and appropriately configured.
However, satisfying this assumption for a novel problem requires significant
engineering work to prepare the data, design the DNN, implement the training
program, and tune the hyperparameters in order to produce the model for which
current automated test data generators search for corner-case behaviors. All
these model training steps can be error-prone. Therefore, it is crucial to
detect and correct errors throughout all the engineering steps of DNN-based
software systems and not only on the resulting DNN model. In this paper, we
gather a catalog of training issues and based on their symptoms and their
effects on the behavior of the training program, we propose practical
verification routines to detect the aforementioned issues, automatically, by
continuously validating that some important properties of the learning dynamics
hold during the training. Then, we design, TheDeepChecker, an end-to-end
property-based debugging approach for DNN training programs. We assess the
effectiveness of TheDeepChecker on synthetic and real-world buggy DL programs
and compare it with Amazon SageMaker Debugger (SMD). Results show that
TheDeepChecker's on-execution validation of DNN-based program's properties
succeeds in revealing several coding bugs and system misconfigurations, early
on and at a low cost. Moreover, TheDeepChecker outperforms the SMD's offline
rules verification on training logs in terms of detection accuracy and DL bugs
coverage.
- Abstract（参考訳）: 今日では、自動運転車のような安全クリティカルなシステムにおいて、Deep Neural Networks(DNN)のパフォーマンスと信頼性を向上させる努力が増えているのを目の当たりにしています。
DNNモデルの動作の不整合を明らかにするテストケースを生成するために,複数のテスト手法が提案されている。
これらのテクニックは、トレーニングプログラムがバグフリーで適切に設定されていることを暗黙的に仮定する。
しかし、新しい問題に対するこの仮定を満たすためには、データを作成し、DNNを設計し、トレーニングプログラムを実装し、現在の自動テストデータ生成装置がコーナーケースの振る舞いを探索するモデルを作成するために、ハイパーパラメータをチューニングするために、かなりのエンジニアリング作業が必要である。
これらのモデルトレーニングステップは、すべてエラーを起こします。
したがって、DNNベースのソフトウェアシステムのすべてのエンジニアリングステップにおいて、DNNモデルに限らずエラーを検出し、修正することが重要である。
本稿では,トレーニング課題のカタログを収集し,その症状がトレーニングプログラムの行動に与える影響に基づいて,上記の問題を自動的に検出するための実践的検証ルーチンを提案し,トレーニング中に学習力学の重要な性質が保持されていることを継続的に検証する。
そして、DNNトレーニングプログラムのためのエンドツーエンドのプロパティベースのデバッグアプローチであるTheDeepCheckerを設計する。
TheDeepCheckerが合成および実世界のバグのDLプログラムに与える影響を評価し,Amazon SageMaker Debugger (SMD)と比較した。
TheDeepCheckerのDNNベースのプログラムプロパティのオンエグゼクティブ検証は、いくつかのコーディングバグとシステム設定ミスを早期かつ低コストで明らかにすることに成功した。
さらに、TheDeepCheckerは、検出精度とDLバグカバレッジの点で、SMDのオフラインルール検証よりも優れています。
関連論文リスト
- Search-based DNN Testing and Retraining with GAN-enhanced Simulations [2.362412515574206]
安全クリティカルなシステムでは、ディープニューラルネットワーク(DNN)がコンピュータビジョンタスクの重要なコンポーネントになりつつある。
本稿では,シミュレータを用いて入力空間を探索するメタヒューリスティック検索と,シミュレータが生成したデータをリアルな入力画像に変換するGAN(Generative Adversarial Networks)を組み合わせることを提案する。
論文 参考訳（メタデータ） (2024-06-19T09:05:16Z) - Control-Theoretic Techniques for Online Adaptation of Deep Neural
Networks in Dynamical Systems [0.0]
ディープニューラルネットワーク(DNN)は現在、現代の人工知能、機械学習、データサイエンスの主要なツールである。
多くのアプリケーションでは、DNNは教師付き学習や強化学習を通じてオフラインでトレーニングされ、推論のためにオンラインにデプロイされる。
制御理論からDNNパラメータをオンラインで更新する手法を提案する。
論文 参考訳（メタデータ） (2024-02-01T16:51:11Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - DAD++: Improved Data-free Test Time Adversarial Defense [12.606555446261668]
本稿では,検出・修正フレームワークを含むDAD(Data-free Adversarial Defense)を提案する。
提案手法の有効性を示すため,いくつかのデータセットとネットワークアーキテクチャについて幅広い実験と改善を行った。
私たちのDAD++は、クリーンな精度を最小限に抑えながら、様々な敵攻撃に対して印象的なパフォーマンスを提供します。
論文 参考訳（メタデータ） (2023-09-10T20:39:53Z) - An Effective Data-Driven Approach for Localizing Deep Learning Faults [20.33411443073181]
問題パターンの学習にモデル機能を活用する新しいデータ駆動手法を提案する。
本手法は,手作業によるマッピングを必要とせず,バグ症状を根本原因に自動的に関連付ける。
以上の結果から,本手法は様々なバグタイプを効果的に検出・診断できることが示唆された。
論文 参考訳（メタデータ） (2023-07-18T03:28:39Z) - Adversarial Learning Networks: Source-free Unsupervised Domain
Incremental Learning [0.0]
非定常環境では、DNNモデルの更新にはパラメータの再トレーニングやモデル微調整が必要である。
DNN分類モデルを更新するための教師なしソースフリー手法を提案する。
既存の手法とは異なり,本手法では過去のトレーニングデータを格納することなく,非定常的なソースとターゲットタスクに対して段階的にDNNモデルを更新することができる。
論文 参考訳（メタデータ） (2023-01-28T02:16:13Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Learning to Execute Programs with Instruction Pointer Attention Graph
Neural Networks [55.98291376393561]
グラフニューラルネットワーク(GNN)は、ソフトウェアエンジニアリングタスクを学習するための強力なツールとして登場した。
リカレントニューラルネットワーク(RNN)は、長いシーケンシャルな推論の連鎖に適しているが、プログラム構造を自然に組み込んでいるわけではない。
本稿では,新しいGNNアーキテクチャ,IPA-GNN(Instruction Pointer Attention Graph Neural Networks)を導入する。
論文 参考訳（メタデータ） (2020-10-23T19:12:30Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。