論文の概要: Dynamic Neural Network is All You Need: Understanding the Robustness of
Dynamic Mechanisms in Neural Networks
- arxiv url: http://arxiv.org/abs/2308.08709v1
- Date: Thu, 17 Aug 2023 00:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 18:35:25.537306
- Title: Dynamic Neural Network is All You Need: Understanding the Robustness of
Dynamic Mechanisms in Neural Networks
- Title(参考訳): ニューラルネットワークの動的メカニズムのロバスト性を理解する
- Authors: Mirazul Haque and Wei Yang
- Abstract要約: 我々は,DyNNにおける動的機構のロバスト性および動的機構設計がDyNNのロバスト性に与える影響について検討する。
我々は,DyNNからSDNNへの攻撃伝達性が,SDNNからDyNNへの攻撃伝達可能性よりも高いことを発見した。
また、DyNNsはSDNNsよりも効率的に敵のサンプルを生成することができる。
- 参考スコア(独自算出の注目度): 10.225238909616104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) have been used to solve different day-to-day
problems. Recently, DNNs have been deployed in real-time systems, and lowering
the energy consumption and response time has become the need of the hour. To
address this scenario, researchers have proposed incorporating dynamic
mechanism to static DNNs (SDNN) to create Dynamic Neural Networks (DyNNs)
performing dynamic amounts of computation based on the input complexity.
Although incorporating dynamic mechanism into SDNNs would be preferable in
real-time systems, it also becomes important to evaluate how the introduction
of dynamic mechanism impacts the robustness of the models. However, there has
not been a significant number of works focusing on the robustness trade-off
between SDNNs and DyNNs. To address this issue, we propose to investigate the
robustness of dynamic mechanism in DyNNs and how dynamic mechanism design
impacts the robustness of DyNNs. For that purpose, we evaluate three research
questions. These evaluations are performed on three models and two datasets.
Through the studies, we find that attack transferability from DyNNs to SDNNs is
higher than attack transferability from SDNNs to DyNNs. Also, we find that
DyNNs can be used to generate adversarial samples more efficiently than SDNNs.
Then, through research studies, we provide insight into the design choices that
can increase robustness of DyNNs against the attack generated using static
model. Finally, we propose a novel attack to understand the additional attack
surface introduced by the dynamic mechanism and provide design choices to
improve robustness against the attack.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は、日々のさまざまな問題を解決するために使われてきた。
近年,DNNはリアルタイムシステムに導入され,省エネルギー化や応答時間の短縮が求められている。
このシナリオに対処するため、研究者は静的DNN(SDNN)に動的メカニズムを取り入れて、入力複雑性に基づいて動的計算を実行する動的ニューラルネットワーク(DyNN)を作成することを提案した。
SDNNに動的メカニズムを組み込むことは、リアルタイムシステムでは好ましいが、動的メカニズムの導入がモデルの堅牢性に与える影響を評価することも重要である。
しかし、SDNNとDyNN間の堅牢性トレードオフに焦点を当てた研究は、それほど多くはない。
そこで本研究では,DyNNにおける動的機構のロバスト性および動的機構設計がDyNNのロバスト性に与える影響について検討する。
そこで我々は3つの研究課題を評価する。
これらの評価は3つのモデルと2つのデータセットで行われる。
本研究では,DyNN から SDNN への攻撃伝達性が SDNN から DyNN への攻撃伝達可能性よりも高いことを示す。
また、DyNNsはSDNNsよりも効率的に敵のサンプルを生成することができる。
そこで本研究では,静的モデルを用いた攻撃に対するDyNNの堅牢性を高める設計選択に関する知見を提供する。
最後に、動的メカニズムによって導入された追加攻撃面を理解するための新しい攻撃を提案し、攻撃に対する堅牢性を改善する設計選択を提供する。
関連論文リスト
- Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。
完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。
予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
論文 参考訳(メタデータ) (2024-01-19T23:48:04Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-16T08:58:25Z) - Physics-Informed Neural Networks for Time-Domain Simulations: Accuracy,
Computational Cost, and Flexibility [0.0]
物理インフォームドニューラルネットワーク(PINN)は,非線形力学系の計算を劇的に高速化するための,有望なソリューションである。
本研究では,負荷変動に対する動的応答に着目し,これらの手法の適用性について検討する。
そこで本研究では,損失関数に勾配に基づく項を導入することにより,ニューラルネットワーク(NN)トレーニングの新たな正規化を提案する。
論文 参考訳(メタデータ) (2023-03-15T23:53:32Z) - Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking
Neural Networks with Learnable Neuronal Dynamics [6.309365332210523]
ニューラルインスパイアされたイベント駆動処理でニューラルネットワーク(SNN)をスパイクすることで、非同期データを効率的に処理できる。
スパイク消滅問題を緩和するために,学習可能な神経力学を用いた適応型完全スパイキングフレームワークを提案する。
実験の結果,平均終端誤差(AEE)は最先端のANNと比較して平均13%減少した。
論文 参考訳(メタデータ) (2022-09-21T21:17:56Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳(メタデータ) (2022-05-28T13:09:30Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳(メタデータ) (2022-05-01T12:44:49Z) - Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。
研究者はすでに、SNNを敵の例で攻撃できることを実証している。
我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文 参考訳(メタデータ) (2022-04-12T21:26:49Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳(メタデータ) (2021-10-07T23:13:33Z) - R-SNN: An Analysis and Design Methodology for Robustifying Spiking
Neural Networks against Adversarial Attacks through Noise Filters for Dynamic
Vision Sensors [15.093607722961407]
Spiking Neural Networks(SNN)は、イベントベースダイナミックビジョンセンサー(DVS)を用いたニューロモルフィックチップに実装されたエネルギー効率の高い学習機能を提供することを目的としている。
本稿では,これらのDVSシステムに対する敵対的攻撃に対するSNNのロバスト性について検討し,効率的なノイズフィルタリングによるSNNのロバスト化手法であるR-SNNを提案する。
論文 参考訳(メタデータ) (2021-09-01T14:40:04Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-27T19:58:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。