論文の概要: Dynamic Neural Network is All You Need: Understanding the Robustness of
Dynamic Mechanisms in Neural Networks
- arxiv url: http://arxiv.org/abs/2308.08709v1
- Date: Thu, 17 Aug 2023 00:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 18:35:25.537306
- Title: Dynamic Neural Network is All You Need: Understanding the Robustness of
Dynamic Mechanisms in Neural Networks
- Title（参考訳）: ニューラルネットワークの動的メカニズムのロバスト性を理解する
- Authors: Mirazul Haque and Wei Yang
- Abstract要約: 我々は,DyNNにおける動的機構のロバスト性および動的機構設計がDyNNのロバスト性に与える影響について検討する。
我々は,DyNNからSDNNへの攻撃伝達性が,SDNNからDyNNへの攻撃伝達可能性よりも高いことを発見した。
また、DyNNsはSDNNsよりも効率的に敵のサンプルを生成することができる。
- 参考スコア（独自算出の注目度）: 10.225238909616104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Neural Networks (DNNs) have been used to solve different day-to-day
problems. Recently, DNNs have been deployed in real-time systems, and lowering
the energy consumption and response time has become the need of the hour. To
address this scenario, researchers have proposed incorporating dynamic
mechanism to static DNNs (SDNN) to create Dynamic Neural Networks (DyNNs)
performing dynamic amounts of computation based on the input complexity.
Although incorporating dynamic mechanism into SDNNs would be preferable in
real-time systems, it also becomes important to evaluate how the introduction
of dynamic mechanism impacts the robustness of the models. However, there has
not been a significant number of works focusing on the robustness trade-off
between SDNNs and DyNNs. To address this issue, we propose to investigate the
robustness of dynamic mechanism in DyNNs and how dynamic mechanism design
impacts the robustness of DyNNs. For that purpose, we evaluate three research
questions. These evaluations are performed on three models and two datasets.
Through the studies, we find that attack transferability from DyNNs to SDNNs is
higher than attack transferability from SDNNs to DyNNs. Also, we find that
DyNNs can be used to generate adversarial samples more efficiently than SDNNs.
Then, through research studies, we provide insight into the design choices that
can increase robustness of DyNNs against the attack generated using static
model. Finally, we propose a novel attack to understand the additional attack
surface introduced by the dynamic mechanism and provide design choices to
improve robustness against the attack.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、日々のさまざまな問題を解決するために使われてきた。
近年,DNNはリアルタイムシステムに導入され,省エネルギー化や応答時間の短縮が求められている。
このシナリオに対処するため、研究者は静的DNN(SDNN)に動的メカニズムを取り入れて、入力複雑性に基づいて動的計算を実行する動的ニューラルネットワーク(DyNN)を作成することを提案した。
SDNNに動的メカニズムを組み込むことは、リアルタイムシステムでは好ましいが、動的メカニズムの導入がモデルの堅牢性に与える影響を評価することも重要である。
しかし、SDNNとDyNN間の堅牢性トレードオフに焦点を当てた研究は、それほど多くはない。
そこで本研究では,DyNNにおける動的機構のロバスト性および動的機構設計がDyNNのロバスト性に与える影響について検討する。
そこで我々は3つの研究課題を評価する。
これらの評価は3つのモデルと2つのデータセットで行われる。
本研究では,DyNN から SDNN への攻撃伝達性が SDNN から DyNN への攻撃伝達可能性よりも高いことを示す。
また、DyNNsはSDNNsよりも効率的に敵のサンプルを生成することができる。
そこで本研究では,静的モデルを用いた攻撃に対するDyNNの堅牢性を高める設計選択に関する知見を提供する。
最後に、動的メカニズムによって導入された追加攻撃面を理解するための新しい攻撃を提案し、攻撃に対する堅牢性を改善する設計選択を提供する。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Towards Efficient Formal Verification of Spiking Neural Network [2.771933807499954]
スパイクニューラルネットワーク(SNN)は、人間の脳のようにイベント駆動で、時間的に情報を圧縮する。
本稿では,SNNの対角的ロバスト性を検証するために,時間符号化を導入する。
論文 参考訳（メタデータ） (2024-08-20T14:43:33Z) - Robust Stable Spiking Neural Networks [45.84535743722043]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアの低エネルギー予算のため、ディープラーニングで人気を集めている。
SNNを敵の攻撃の脅威から守るために多くの研究がなされている。
本稿では非線形システムの安定性のレンズによるSNNの堅牢性を明らかにすることを目的とする。
論文 参考訳（メタデータ） (2024-05-31T08:40:02Z) - Inherent Redundancy in Spiking Neural Networks [24.114844269113746]
スパイキングネットワーク(SNN)は、従来の人工ニューラルネットワークに代わる有望なエネルギー効率の代替手段である。
本研究では,SNNにおける固有冗長性に関する3つの重要な疑問に焦点をあてる。
本稿では,SNNの冗長性を活用するためのアドバンストアテンション(ASA)モジュールを提案する。
論文 参考訳（メタデータ） (2023-08-16T08:58:25Z) - Physics-Informed Neural Networks for Time-Domain Simulations: Accuracy,
Computational Cost, and Flexibility [0.0]
物理インフォームドニューラルネットワーク(PINN)は,非線形力学系の計算を劇的に高速化するための,有望なソリューションである。
本研究では,負荷変動に対する動的応答に着目し,これらの手法の適用性について検討する。
そこで本研究では,損失関数に勾配に基づく項を導入することにより,ニューラルネットワーク(NN)トレーニングの新たな正規化を提案する。
論文 参考訳（メタデータ） (2023-03-15T23:53:32Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳（メタデータ） (2022-06-21T09:42:30Z) - Fault-Aware Design and Training to Enhance DNNs Reliability with
Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。
最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。
本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文 参考訳（メタデータ） (2022-05-28T13:09:30Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Toward Robust Spiking Neural Network Against Adversarial Perturbation [22.56553160359798]
スパイキングニューラルネットワーク(SNN)は、現実の効率クリティカルなアプリケーションにますます多くデプロイされている。
研究者はすでに、SNNを敵の例で攻撃できることを実証している。
我々の知る限りでは、これはSNNの堅牢なトレーニングに関する最初の分析である。
論文 参考訳（メタデータ） (2022-04-12T21:26:49Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - R-SNN: An Analysis and Design Methodology for Robustifying Spiking
Neural Networks against Adversarial Attacks through Noise Filters for Dynamic
Vision Sensors [15.093607722961407]
Spiking Neural Networks(SNN)は、イベントベースダイナミックビジョンセンサー(DVS)を用いたニューロモルフィックチップに実装されたエネルギー効率の高い学習機能を提供することを目的としている。
本稿では,これらのDVSシステムに対する敵対的攻撃に対するSNNのロバスト性について検討し,効率的なノイズフィルタリングによるSNNのロバスト化手法であるR-SNNを提案する。
論文 参考訳（メタデータ） (2021-09-01T14:40:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。