論文の概要: ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.13330v1
• Date: Fri, 26 Nov 2021 06:35:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 15:35:38.887120
• Title: ArchRepair: Block-Level Architecture-Oriented Repairing for Deep Neural Networks
• Title（参考訳）: ArchRepair: ディープニューラルネットワークのためのブロックレベルアーキテクチャ指向の修復
• Authors: Hua Qi, Zhijie Wang, Qing Guo, Jianlang Chen, Felix Juefei-Xu, Lei Ma, Jianjun Zhao
• Abstract要約: 本稿では,ブロックレベルでのディープニューラルネットワーク(DNN)の新たな修復方向を提案する。 本稿では,脆弱なブロックローカライゼーションのための逆アウェアスペクトル分析法を提案する。 また,対象のブロックを連続的に修復する検索空間に緩和するアーキテクチャ指向の検索ベース修復を提案する。
• 参考スコア（独自算出の注目度）: 13.661704974188872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past few years, deep neural networks (DNNs) have achieved tremendous success and have been continuously applied in many application domains. However, during the practical deployment in the industrial tasks, DNNs are found to be erroneous-prone due to various reasons such as overfitting, lacking robustness to real-world corruptions during practical usage. To address these challenges, many recent attempts have been made to repair DNNs for version updates under practical operational contexts by updating weights (i.e., network parameters) through retraining, fine-tuning, or direct weight fixing at a neural level. In this work, as the first attempt, we initiate to repair DNNs by jointly optimizing the architecture and weights at a higher (i.e., block) level. We first perform empirical studies to investigate the limitation of whole network-level and layer-level repairing, which motivates us to explore a novel repairing direction for DNN repair at the block level. To this end, we first propose adversarial-aware spectrum analysis for vulnerable block localization that considers the neurons' status and weights' gradients in blocks during the forward and backward processes, which enables more accurate candidate block localization for repairing even under a few examples. Then, we further propose the architecture-oriented search-based repairing that relaxes the targeted block to a continuous repairing search space at higher deep feature levels. By jointly optimizing the architecture and weights in that space, we can identify a much better block architecture. We implement our proposed repairing techniques as a tool, named ArchRepair, and conduct extensive experiments to validate the proposed method. The results show that our method can not only repair but also enhance accuracy & robustness, outperforming the state-of-the-art DNN repair techniques.
• Abstract（参考訳）: 過去数年間、ディープニューラルネットワーク(DNN)は大きな成功を収め、多くのアプリケーションドメインで継続的に適用されてきた。 しかし, 産業業務における実践的展開において, DNNは, 過度な適合, 実世界の汚職に対する堅牢性の欠如など, 誤った傾向がみられた。 これらの課題に対処するため、近年、神経レベルでのトレーニング、微調整、直接重み付けによって重み付け(ネットワークパラメータ)を更新することで、実用的な運用状況下でのDNNのバージョン更新の修正が試みられている。 本研究の最初の試みとして,高い(ブロック)レベルでアーキテクチャと重みを共同で最適化し,dnnの修復を開始する。 まず,ネットワークレベルと層レベルの修復の限界について実証的研究を行い,ブロックレベルでのDNN修復の新たな修復方向を探究する動機となった。 そこで我々はまず,前・後行過程におけるブロックの状態と重み付けの勾配を考慮に入れた脆弱なブロックローカライゼーションに対する逆方向のスペクトル解析を提案し,いくつかの例でもより正確なブロックローカライゼーションを行えるようにした。 さらに,より深い特徴レベルの連続的な補修探索空間に対象ブロックを緩和するアーキテクチャ指向の探索ベース修復を提案する。 この領域でアーキテクチャと重みを共同で最適化することで、より優れたブロックアーキテクチャを特定できます。 提案手法はarchrepairというツールとして実装し,提案手法を検証するための広範囲な実験を行った。 その結果,本手法は修復だけでなく,精度とロバスト性も向上し,最先端のdnn修復技術に匹敵することがわかった。

関連論文リスト

• Reusing Deep Learning Models: Challenges and Directions in Software Engineering [3.733306025181894]
  ディープニューラルネットワーク(DNN)は多くの分野で最先端のパフォーマンスを達成する。 DNNは知的努力と計算コストの両方において開発に費用がかかる。 このビジョンペーパーは、DNNの再使用に対する現在のアプローチの課題について述べる。
  論文  参考訳（メタデータ） (2024-04-25T15:42:10Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• Heterogeneous Continual Learning [88.53038822561197]
  本稿では,ネットワークアーキテクチャの変更に伴う継続学習(CL)問題に対処する新しい枠組みを提案する。 本研究は, 蒸留ファミリ上に構築し, より弱いモデルが教師の役割を担うような, 新たな環境に適応するものである。 また、知識伝達を支援するために、タスク前の視覚的特徴を復元するクイック・ディープ・インバージョン(QDI)を提案する。
  論文  参考訳（メタデータ） (2023-06-14T15:54:42Z)
• Architecture-Preserving Provable Repair of Deep Neural Networks [2.4687962186994663]
  ディープニューラルネットワーク(DNN)は、ソフトウェアにおいてますます重要になってきており、多くの問題に対する最先端のソリューションと考えられている。 本稿では,DNNの修復が可能なアーキテクチャ保存型V-ポリトープの問題に対処する。
  論文  参考訳（メタデータ） (2023-04-07T06:36:41Z)
• Incremental Satisfiability Modulo Theory for Verification of Deep Neural Networks [22.015676101940077]
  本稿ではReluplexフレームワークに基づく漸進的満足度変調理論(SMT)を提案する。 我々は,DeepIncと呼ばれる漸進的な解法としてアルゴリズムを実装し,実験結果から,ほとんどの場合,DeepIncの方が効率的であることが示された。
  論文  参考訳（メタデータ） (2023-02-10T04:31:28Z)
• Measurement-Consistent Networks via a Deep Implicit Layer for Solving Inverse Problems [0.0]
  エンドツーエンドのディープニューラルネットワーク(DNN)は、逆問題を解決するための最先端のSOTA(State-of-the-art)になっている。 これらのネットワークは、トレーニングパイプラインの小さなバリエーションに敏感であり、小さなが重要な詳細を再構築することができないことが多い。 本稿では,逆問題に対して任意のDNNを計測一貫性に変換するフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T17:05:04Z)
• Self-Denoising Neural Networks for Few Shot Learning [66.38505903102373]
  既存のニューラルアーキテクチャの複数の段階でノイズを追加すると同時に、この付加ノイズに対して堅牢であるように学習する新しいトレーニングスキームを提案する。 このアーキテクチャは、SDNN(Self-Denoising Neural Network)と呼ばれ、現代の畳み込みニューラルネットワークに容易に適用できます。
  論文  参考訳（メタデータ） (2021-10-26T03:28:36Z)
• Provable Repair of Deep Neural Networks [8.55884254206878]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、過去10年間で人気を博し、航空機の衝突回避などの安全上重要な領域で使われている。 本稿では,安全でない動作が見つかるとDNNの修正に対処する。 与えられた仕様を満たす新しいネットワークN'を構築するためにネットワークNを修復する問題である実証可能な修復問題を紹介します。
  論文  参考訳（メタデータ） (2021-04-09T15:03:53Z)
• Disturbance-immune Weight Sharing for Neural Architecture Search [96.93812980299428]
  本稿では,モデル更新のための乱れ免疫更新戦略を提案する。 我々は,パフォーマンス障害リスクを軽減するための戦略の有効性を理論的に分析する。
  論文  参考訳（メタデータ） (2020-03-29T17:54:49Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。