論文の概要: Repairing Deep Neural Networks Based on Behavior Imitation

• arxiv url: http://arxiv.org/abs/2305.03365v1
• Date: Fri, 5 May 2023 08:33:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-08 14:49:46.238347
• Title: Repairing Deep Neural Networks Based on Behavior Imitation
• Title（参考訳）: 行動模倣に基づくディープニューラルネットワークの修復
• Authors: Zhen Liang, Taoran Wu, Changyuan Zhao, Wanwei Liu, Bai Xue, Wenjing Yang, Ji Wang
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)のための行動シミュレーションに基づく修復フレームワークを提案する。 BIRDNNは、再トレーニング修復過程における正のサンプルの最も近い振る舞いを模倣することにより、負のサンプルの誤予測を補正する。 微調整修復プロセスにおいて、BIRDNNは、正および負のサンプル上でのニューロンの行動差を分析し、誤動作に対する最も責任あるニューロンを特定する。
• 参考スコア（独自算出の注目度）: 5.1791561132409525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing use of deep neural networks (DNNs) in safety-critical systems has raised concerns about their potential for exhibiting ill-behaviors. While DNN verification and testing provide post hoc conclusions regarding unexpected behaviors, they do not prevent the erroneous behaviors from occurring. To address this issue, DNN repair/patch aims to eliminate unexpected predictions generated by defective DNNs. Two typical DNN repair paradigms are retraining and fine-tuning. However, existing methods focus on the high-level abstract interpretation or inference of state spaces, ignoring the underlying neurons' outputs. This renders patch processes computationally prohibitive and limited to piecewise linear (PWL) activation functions to great extent. To address these shortcomings, we propose a behavior-imitation based repair framework, BIRDNN, which integrates the two repair paradigms for the first time. BIRDNN corrects incorrect predictions of negative samples by imitating the closest expected behaviors of positive samples during the retraining repair procedure. For the fine-tuning repair process, BIRDNN analyzes the behavior differences of neurons on positive and negative samples to identify the most responsible neurons for the erroneous behaviors. To tackle more challenging domain-wise repair problems (DRPs), we synthesize BIRDNN with a domain behavior characterization technique to repair buggy DNNs in a probably approximated correct style. We also implement a prototype tool based on BIRDNN and evaluate it on ACAS Xu DNNs. Our experimental results show that BIRDNN can successfully repair buggy DNNs with significantly higher efficiency than state-of-the-art repair tools. Additionally, BIRDNN is highly compatible with different activation functions.
• Abstract（参考訳）: 安全クリティカルなシステムにおけるディープニューラルネットワーク(DNN)の利用の増加は、不適切な行動を示す可能性を懸念している。 DNNの検証とテストは予期せぬ行動に関するポストホックな結論を与えるが、誤った行動の発生を妨げない。 この問題に対処するため、DNNの修復/パッチは、欠陥のあるDNNによって生じる予期せぬ予測を排除することを目的としている。 2つの典型的なDNN修復パラダイムは、リトレーニングと微調整である。 しかし、既存の手法では状態空間の高レベルな抽象的解釈や推論に焦点をあて、基礎となるニューロンの出力を無視している。 これにより、パッチプロセスの計算が禁止され、PWL(Computerwise linear)アクティベーション関数に大きく制限される。 これらの欠点に対処するため,我々は2つの修復パラダイムを初めて統合した行動模倣型修復フレームワークBIRDNNを提案する。 BIRDNNは、再トレーニング修復過程における正のサンプルの最も近い振る舞いを模倣することにより、負のサンプルの誤予測を補正する。 微調整修復プロセスにおいて、BIRDNNは、正および負のサンプル上でのニューロンの行動差を分析し、誤動作に対する最も責任あるニューロンを特定する。 より困難なドメインワイド修復問題 (DRP) に対処するため, BIRDNN をドメイン挙動解析手法で合成し, バグジジ DNN をほぼ正しい方法で修復する。 また、BIRDNNに基づくプロトタイプツールを実装し、ACAS Xu DNNで評価する。 実験の結果, BIRDNNは最先端の修復ツールよりも高い効率でバギーDNNを修復できることがわかった。 さらに、BIRDNNは異なるアクティベーション機能と高度に互換性がある。

関連論文リスト

• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Iterative Assessment and Improvement of DNN Operational Accuracy [11.447394702830412]
  DAIC (DNN Assessment and Improvement Cycle) は,オンライン擬似画像の「低コスト」とオフラインサンプリング技術「高コスト」を組み合わせた手法である。 予備的な結果は、この2つのアプローチを組み合わせる利点を示している。
  論文  参考訳（メタデータ） (2023-03-02T14:21:54Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History [2.7904991230380403]
  ある行動を修正するための訓練は、しばしば他の行動に破壊的な影響を与える。 この問題は、エンジニアが安全や信頼の保証活動の失敗を調査する必要がある場合に重要である。 本稿では,どのDNNパラメータを変更するべきかを学習履歴を用いて判断し,レグレッションを抑える新しい修復法を提案する。
  論文  参考訳（メタデータ） (2022-03-01T02:47:12Z)
• Black-box Safety Analysis and Retraining of DNNs based on Feature Extraction and Clustering [0.9590956574213348]
  DNNエラーの根本原因を自動的に識別するブラックボックスアプローチであるSAFEを提案する。 これは、ImageNetで事前訓練された転送学習モデルを使用して、エラー誘発画像から特徴を抽出する。 次に、密度に基づくクラスタリングアルゴリズムを適用し、誤りのもっともらしい原因をモデル化した画像の任意の形状のクラスタを検出する。
  論文  参考訳（メタデータ） (2022-01-13T17:02:57Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification [71.45033077934723]
  我々はディープニューラルネットワーク(DNN)xベクトル話者検証システムにベイズニューラルネットワーク(BNN)を組み込む。 BNNによって提供される重みの不確実性モデリングにより、システムは評価データにより良い一般化を期待できる。 その結果、BNNの相対的なEERの2.66%と2.32%の減少により、短文と短文のドメイン評価が可能であることが判明した。
  論文  参考訳（メタデータ） (2020-04-08T14:35:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。