論文の概要: NeuRecover: Regression-Controlled Repair of Deep Neural Networks with
Training History
- arxiv url: http://arxiv.org/abs/2203.00191v1
- Date: Tue, 1 Mar 2022 02:47:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 22:26:49.762838
- Title: NeuRecover: Regression-Controlled Repair of Deep Neural Networks with
Training History
- Title（参考訳）: NeuRecover: トレーニング履歴を持つディープニューラルネットワークの回帰制御修復
- Authors: Shogo Tokui, Susumu Tokumoto, Akihito Yoshii, Fuyuki Ishikawa, Takao
Nakagawa, Kazuki Munakata, Shinji Kikuchi
- Abstract要約: ある行動を修正するための訓練は、しばしば他の行動に破壊的な影響を与える。
この問題は、エンジニアが安全や信頼の保証活動の失敗を調査する必要がある場合に重要である。
本稿では,どのDNNパラメータを変更するべきかを学習履歴を用いて判断し,レグレッションを抑える新しい修復法を提案する。
- 参考スコア（独自算出の注目度）: 2.7904991230380403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Systematic techniques to improve quality of deep neural networks (DNNs) are
critical given the increasing demand for practical applications including
safety-critical ones. The key challenge comes from the little controllability
in updating DNNs. Retraining to fix some behavior often has a destructive
impact on other behavior, causing regressions, i.e., the updated DNN fails with
inputs correctly handled by the original one. This problem is crucial when
engineers are required to investigate failures in intensive assurance
activities for safety or trust. Search-based repair techniques for DNNs have
potentials to tackle this challenge by enabling localized updates only on
"responsible parameters" inside the DNN. However, the potentials have not been
explored to realize sufficient controllability to suppress regressions in DNN
repair tasks. In this paper, we propose a novel DNN repair method that makes
use of the training history for judging which DNN parameters should be changed
or not to suppress regressions. We implemented the method into a tool called
NeuRecover and evaluated it with three datasets. Our method outperformed the
existing method by achieving often less than a quarter, even a tenth in some
cases, number of regressions. Our method is especially effective when the
repair requirements are tight to fix specific failure types. In such cases, our
method showed stably low rates (<2%) of regressions, which were in many cases a
tenth of regressions caused by retraining.
- Abstract（参考訳）: 深層ニューラルネットワーク(dnn)の品質向上のための体系的手法は、安全性クリティカルなアプリケーションを含む実用的な応用への需要の増加を考える上で重要である。
重要な課題は、DNNを更新する際の小さな制御性にある。
ある動作を修正するためのトレーニングは、しばしば他の動作に破壊的な影響を与えるため、リグレッション、すなわち更新されたDNNは、元の動作によって正しく処理された入力で失敗する。
この問題は、エンジニアが安全や信頼のために集中的な保証活動の失敗を調査する必要がある場合に重要である。
DNNの検索ベースの修復技術は、DNN内の"責任のあるパラメータ"のみをローカライズすることで、この問題に対処する可能性がある。
しかし、DNN補修作業における回帰を抑制するのに十分な制御性を実現するためのポテンシャルは検討されていない。
本稿では,DNNのパラメータを変更するべきか否かを判断するために,トレーニング履歴を利用した新しいDNN修復手法を提案する。
我々はこの手法をNeuRecoverと呼ばれるツールに実装し、3つのデータセットで評価した。
提案手法は,4分の1未満,場合によっては10分の1,レグレッション数で,既存手法よりも優れていた。
本手法は,特定の故障タイプを厳格に修正する場合に特に有効である。
このような場合, 回帰率の安定的に低い(<2%) 傾向を示し, 多くの場合, 再トレーニングによる回帰率の10分の1であった。
関連論文リスト
- GraphMU: Repairing Robustness of Graph Neural Networks via Machine Unlearning [8.435319580412472]
グラフニューラルネットワーク(GNN)は、敵の攻撃に対して脆弱である。
本稿では,GNNのモデル修復という新しい概念を紹介する。
我々は、Graph Unlearning (GraphMU)によるグラフニューラルネットワークのロバスト性を修復する修復フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-19T12:41:15Z) - Mitigating Backdoors within Deep Neural Networks in Data-limited
Configuration [1.1663475941322277]
バックドアされたディープニューラルネットワークは、テスト時にサンプルにトリガーが注入されたときに悪意を持って振る舞いながら、クリーンなデータに正常な振る舞いを示す。
本稿では, 有毒ニューロンの特性を定式化する。
このバックドア不確実性スコアは、ネットワークニューロンの活性化値、重み、および同一層の他のニューロンとの関係に応じてランク付けすることができる。
論文 参考訳（メタデータ） (2023-11-13T15:54:27Z) - Reconstructive Neuron Pruning for Backdoor Defense [96.21882565556072]
本稿では, バックドアニューロンの露出とプルーンの抑制を目的とした, emphReconstructive Neuron Pruning (RNP) という新しい防御法を提案する。
RNPでは、アンラーニングはニューロンレベルで行われ、リカバリはフィルタレベルで行われ、非対称再構成学習手順を形成する。
このような非対称なプロセスは、少数のクリーンサンプルだけが、広範囲の攻撃によって移植されたバックドアニューロンを効果的に露出し、刺激することができることを示す。
論文 参考訳（メタデータ） (2023-05-24T08:29:30Z) - Repairing Deep Neural Networks Based on Behavior Imitation [5.1791561132409525]
本稿では,ディープニューラルネットワーク(DNN)のための行動シミュレーションに基づく修復フレームワークを提案する。
BIRDNNは、再トレーニング修復過程における正のサンプルの最も近い振る舞いを模倣することにより、負のサンプルの誤予測を補正する。
微調整修復プロセスにおいて、BIRDNNは、正および負のサンプル上でのニューロンの行動差を分析し、誤動作に対する最も責任あるニューロンを特定する。
論文 参考訳（メタデータ） (2023-05-05T08:33:28Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。
線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
論文 参考訳（メタデータ） (2022-06-15T22:42:29Z) - Function Regression using Spiking DeepONet [2.935661780430872]
本稿では,関数の入力領域と連続出力値をスパイクとして表現することの難しさから,回帰処理を行うSNNベースの手法を提案する。
私たちはスパイクの振る舞いを学ぶために、演算子を学習するために設計されたニューラルネットワークであるDeepONetを使用しています。
スパイクフレームワークでDeepONetを使用する方法をいくつか提案し、異なるベンチマークの精度とトレーニング時間を提示する。
論文 参考訳（メタデータ） (2022-05-17T15:22:22Z) - FitAct: Error Resilient Deep Neural Networks via Fine-Grained
Post-Trainable Activation Functions [0.05249805590164901]
ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。
本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
論文 参考訳（メタデータ） (2021-12-27T07:07:50Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - Transferable, Controllable, and Inconspicuous Adversarial Attacks on
Person Re-identification With Deep Mis-Ranking [83.48804199140758]
システム出力のランキングを乱す学習とミスランクの定式化を提案する。
また,新たなマルチステージネットワークアーキテクチャを開発することで,バックボックス攻撃を行う。
そこで本手法では, 異なるマルチショットサンプリングにより, 悪意のある画素数を制御することができる。
論文 参考訳（メタデータ） (2020-04-08T18:48:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。