論文の概要: SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference

• arxiv url: http://arxiv.org/abs/2308.04753v1
• Date: Wed, 9 Aug 2023 07:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:54:25.937252
• Title: SAfER: Layer-Level Sensitivity Assessment for Efficient and Robust Neural Network Inference
• Title（参考訳）: SAfER:効率的なロバストニューラルネットワーク推論のための層レベル感度評価
• Authors: Edouard Yvinec, Arnaud Dapogny, Kevin Bailly
• Abstract要約: ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自律運転や医療画像などの重要な応用には、その行動の調査も必要である。 DNNの属性は、DNNの予測と入力の関係を研究することである。
• 参考スコア（独自算出の注目度）: 7.971065005161565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) demonstrate outstanding performance across most computer vision tasks. Some critical applications, such as autonomous driving or medical imaging, also require investigation into their behavior and the reasons behind the decisions they make. In this vein, DNN attribution consists in studying the relationship between the predictions of a DNN and its inputs. Attribution methods have been adapted to highlight the most relevant weights or neurons in a DNN, allowing to more efficiently select which weights or neurons can be pruned. However, a limitation of these approaches is that weights are typically compared within each layer separately, while some layers might appear as more critical than others. In this work, we propose to investigate DNN layer importance, i.e. to estimate the sensitivity of the accuracy w.r.t. perturbations applied at the layer level. To do so, we propose a novel dataset to evaluate our method as well as future works. We benchmark a number of criteria and draw conclusions regarding how to assess DNN layer importance and, consequently, how to budgetize layers for increased DNN efficiency (with applications for DNN pruning and quantization), as well as robustness to hardware failure (e.g. bit swaps).
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ほとんどのコンピュータビジョンタスクにおいて優れたパフォーマンスを示す。 自動運転車や医療画像などの重要な応用には、その行動や意思決定の背後にある理由を調査する必要がある。 この静脈において、DNNの属性は、DNNの予測と入力の関係を研究することである。 帰属法は、dnnの最も関連する重みまたはニューロンを強調するために適応され、どの重みまたはニューロンを刈り取ることができるかをより効率的に選択できる。 しかし、これらのアプローチの制限は、重みは通常各層内で別々に比較されるが、いくつかの層は他の層よりも重要に見える。 本研究では,DNN層の重要性,すなわち層レベルで印加される精度w.r.t.摂動の感度を推定することを提案する。 そこで本研究では,本手法と今後の課題を評価するための新しいデータセットを提案する。 我々は、DNNのレイヤーの重要度を評価する方法に関する多くの基準をベンチマークし、その結果、DNNの効率向上のためのレイヤの予算化(DNNのプルーニングと量子化の応用)、およびハードウェアの障害に対する堅牢性(ビットスワップなど)について結論を導き出す。

関連論文リスト

• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• Information Flow in Graph Neural Networks: A Clinical Triage Use Case [49.86931948849343]
  グラフニューラルネットワーク(GNN)は、マルチモーダルグラフとマルチリレーショナルグラフを処理する能力によって、医療やその他の領域で人気を集めている。 GNNにおける埋め込み情報のフローが知識グラフ(KG)におけるリンクの予測に与える影響について検討する。 以上の結果から,ドメイン知識をGNN接続に組み込むことで,KGと同じ接続を使用する場合や,制約のない埋め込み伝搬を行う場合よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-12T09:18:12Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Strengthening the Training of Convolutional Neural Networks By Using Walsh Matrix [0.0]
  分類性能を向上させるため,DNNのトレーニングと構造を変更した。 畳み込みニューラルネットワーク(CNN)の最後の層に続く最小距離ネットワーク(MDN)が分類器として使用される。 異なる領域では、ノード数が少ないDivFEを使用することでより高い分類性能が得られたことが観察されている。
  論文  参考訳（メタデータ） (2021-03-31T18:06:11Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• An Efficient Spiking Neural Network for Recognizing Gestures with a DVS Camera on the Loihi Neuromorphic Processor [12.118084418840152]
  Spiking Neural Networks(SNN)は、機械学習ベースのアプリケーションにおいて注目を浴びている。 本稿では,対応するディープニューラルネットワーク(DNN)とほぼ同じ精度のSNNの設計手法を示す。 我々のSNNは89.64%の分類精度を達成し、37のLoihiコアしか占有していない。
  論文  参考訳（メタデータ） (2020-05-16T17:00:10Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。