論文の概要: 2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both
Adversarial Robustness and Efficiency
- arxiv url: http://arxiv.org/abs/2109.05223v1
- Date: Sat, 11 Sep 2021 08:51:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:10:10.713519
- Title: 2-in-1 Accelerator: Enabling Random Precision Switch for Winning Both
Adversarial Robustness and Efficiency
- Title（参考訳）: 2-in-1accelerator: 逆ロバスト性と効率の両立のためのランダム精度スイッチの実現
- Authors: Yonggan Fu, Yang Zhao, Qixuan Yu, Chaojian Li, Yingyan Lin
- Abstract要約: DNN加速器の対向的堅牢性と効率の両立を目的とした2-in-1加速器を提案する。
具体的には、まず、DNNを敵攻撃から効果的に防御できる乱精度スイッチ(RPS)アルゴリズムを提案する。
さらに,(1)新しい精度・スケール可能なユニットアーキテクチャを特徴とする,新しい精度・スケール可能なアクセラレーションを提案する。
- 参考スコア（独自算出の注目度）: 26.920864182619844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent breakthroughs of deep neural networks (DNNs) and the advent of
billions of Internet of Things (IoT) devices have excited an explosive demand
for intelligent IoT devices equipped with domain-specific DNN accelerators.
However, the deployment of DNN accelerator enabled intelligent functionality
into real-world IoT devices still remains particularly challenging. First,
powerful DNNs often come at prohibitive complexities, whereas IoT devices often
suffer from stringent resource constraints. Second, while DNNs are vulnerable
to adversarial attacks especially on IoT devices exposed to complex real-world
environments, many IoT applications require strict security. Existing DNN
accelerators mostly tackle only one of the two aforementioned challenges (i.e.,
efficiency or adversarial robustness) while neglecting or even sacrificing the
other. To this end, we propose a 2-in-1 Accelerator, an integrated
algorithm-accelerator co-design framework aiming at winning both the
adversarial robustness and efficiency of DNN accelerators. Specifically, we
first propose a Random Precision Switch (RPS) algorithm that can effectively
defend DNNs against adversarial attacks by enabling random DNN quantization as
an in-situ model switch. Furthermore, we propose a new precision-scalable
accelerator featuring (1) a new precision-scalable MAC unit architecture which
spatially tiles the temporal MAC units to boost both the achievable efficiency
and flexibility and (2) a systematically optimized dataflow that is searched by
our generic accelerator optimizer. Extensive experiments and ablation studies
validate that our 2-in-1 Accelerator can not only aggressively boost both the
adversarial robustness and efficiency of DNN accelerators under various
attacks, but also naturally support instantaneous robustness-efficiency
trade-offs adapting to varied resources without the necessity of DNN
retraining.
- Abstract（参考訳）: 近年のディープニューラルネットワーク(DNN)のブレークスルーと、何十億ものモノのインターネット(IoT)デバイスが出現し、ドメイン固有のDNNアクセラレーターを備えたインテリジェントIoTデバイスに対する爆発的な需要が高まっている。
しかし、DNNアクセラレーターが現実世界のIoTデバイスにインテリジェントな機能をデプロイすることは、依然として特に難しい。
第一に、強力なDNNは、しばしば禁止的な複雑さに直面するが、IoTデバイスは、厳しいリソース制約に悩まされることが多い。
第二に、DNNは、特に複雑な現実世界環境に露出するIoTデバイスに対する敵攻撃に対して脆弱であるが、多くのIoTアプリケーションは厳格なセキュリティを必要とする。
既存のDNNアクセラレーターは、上記の2つの課題のうちの1つ(効率性または敵の堅牢性)に対処しつつ、一方を無視または犠牲にしている。
そこで本研究では,DNN加速器の対向ロバスト性と効率性を両立することを目的とした2-in-1加速器を提案する。
具体的には,DNNの量子化をin-situモデルスイッチとして実現することにより,DNNを敵攻撃から効果的に防御できるランダム精度スイッチ(RPS)アルゴリズムを提案する。
さらに,(1)時間的MACユニットを空間的にタイル状に固定し,達成可能な効率と柔軟性を両立させる新しい高精度MACユニットアーキテクチャ,(2)汎用アクセラレーターオプティマイザによって探索される体系的に最適化されたデータフローを提案する。
我々の2-in-1加速器は、様々な攻撃下でのDNN加速器の対向的堅牢性と効率の両方を積極的に向上できるだけでなく、DNN再訓練を必要とせず、様々な資源に適応する即時的堅牢性と効率のトレードオフを自然に支援できる。
関連論文リスト
- DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - FireFly v2: Advancing Hardware Support for High-Performance Spiking
Neural Network with a Spatiotemporal FPGA Accelerator [8.0611988136866]
Spiking Neural Networks(SNN)は、Artificial Neural Networks(ANN)の代替として期待されている。
特殊なSNNハードウェアは、電力と性能の点で汎用デバイスよりも明確な優位性を提供する。
FPGA SNNアクセラレータであるFireFly v2は、現在のSOTA SNNアルゴリズムにおける非スパイク操作の問題に対処することができる。
論文 参考訳（メタデータ） (2023-09-28T04:17:02Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - O-HAS: Optical Hardware Accelerator Search for Boosting Both
Acceleration Performance and Development Speed [13.41883640945134]
O-HASは、(1)光学的加速器のエネルギーと遅延をDNNモデルパラメータと光学的加速器設計に基づいて正確に正確に正確に予測できるO-Cost予測器、(2)光学的DNN加速器の大規模な設計空間を自動で探索できるO-Searchエンジンの2つの統合イネーラから構成される。
O-Cost PredictorとO-Search Engineの有効性を一貫して検証した。
論文 参考訳（メタデータ） (2021-08-17T09:50:14Z) - InstantNet: Automated Generation and Deployment of Instantaneously
Switchable-Precision Networks [65.78061366594106]
可変ビット幅で動作する即時切替可能精度ネットワークを自動生成・展開するInstantNetを提案する。
実験では、提案されたInstantNetは最先端の設計を一貫して上回っている。
論文 参考訳（メタデータ） (2021-04-22T04:07:43Z) - Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure
DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。
これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文 参考訳（メタデータ） (2021-04-16T19:11:14Z) - DNA: Differentiable Network-Accelerator Co-Search [36.68587348474986]
そこで我々は,一致したネットワークやアクセラレータを自動的に検索する,差別化可能なネットワーク加速器のコサーチフレームワークであるDNAを提案する。
1)DNNアクセラレータの汎用設計スペースと、アルゴリズム探索を可能にするPyTorchなどのDNNフレームワークとの互換性。
実験およびアブレーション研究により、DNAによって生成されたマッチングネットワークと加速器は、常に最先端(SOTA)のDNNや加速器より優れていることが示されている。
論文 参考訳（メタデータ） (2020-10-28T05:57:16Z) - Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural
Networks [3.9193443389004887]
ディープニューラルネットワーク(DNN)のアドリアックが深刻な脆弱性を露呈
そこで本研究では,DNNの内部アクティベーション値のスパシティを低減するために,DNNの入力を逆向きに修正するスポーシティアタックを提案し,実証する。
我々は、敵対的スパシティ攻撃のホワイトボックス版とブラックボックス版の両方をローンチし、アクティベーション・スパシティーを最大1.82倍まで減少させることを示した。
論文 参考訳（メタデータ） (2020-06-14T21:02:55Z) - SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost
Computation [97.78417228445883]
We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。
そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。
さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
論文 参考訳（メタデータ） (2020-05-07T12:12:49Z) - DNN-Chip Predictor: An Analytical Performance Predictor for DNN
Accelerators with Various Dataflows and Hardware Architectures [30.689015188050405]
近年のディープニューラルネットワーク(DNN)のブレークスルーにより、DNNアクセラレーターの需要が大幅に増加した。
DNN-Chip Predictorは、DNNアクセラレータのエネルギ、スループット、遅延を実際の実装前に正確に予測できる分析性能予測器である。
論文 参考訳（メタデータ） (2020-02-26T02:59:18Z) - PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with
Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。
きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文 参考訳（メタデータ） (2020-01-01T04:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。