論文の概要: DiffRNN: Differential Verification of Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2007.10135v1
- Date: Mon, 20 Jul 2020 14:14:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 12:46:22.629101
- Title: DiffRNN: Differential Verification of Recurrent Neural Networks
- Title（参考訳）: DiffRNN: リカレントニューラルネットワークの差分検証
- Authors: Sara Mohammadinejad, Brandon Paulsen, Chao Wang, Jyotirmoy V. Deshmukh
- Abstract要約: リカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなど、さまざまなアプリケーションで人気を集めている。
構造的に類似した2つのニューラルネットワークの等価性を証明するための最初の差分検証手法であるDIFFRNNを提案する。
各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端の検証ツールより優れていることを示す。
- 参考スコア（独自算出の注目度）: 3.4423518864863154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent neural networks (RNNs) such as Long Short Term Memory (LSTM)
networks have become popular in a variety of applications such as image
processing, data classification, speech recognition, and as controllers in
autonomous systems. In practical settings, there is often a need to deploy such
RNNs on resource-constrained platforms such as mobile phones or embedded
devices. As the memory footprint and energy consumption of such components
become a bottleneck, there is interest in compressing and optimizing such
networks using a range of heuristic techniques. However, these techniques do
not guarantee the safety of the optimized network, e.g., against adversarial
inputs, or equivalence of the optimized and original networks. To address this
problem, we propose DIFFRNN, the first differential verification method for
RNNs to certify the equivalence of two structurally similar neural networks.
Existing work on differential verification for ReLUbased feed-forward neural
networks does not apply to RNNs where nonlinear activation functions such as
Sigmoid and Tanh cannot be avoided. RNNs also pose unique challenges such as
handling sequential inputs, complex feedback structures, and interactions
between the gates and states. In DIFFRNN, we overcome these challenges by
bounding nonlinear activation functions with linear constraints and then
solving constrained optimization problems to compute tight bounding boxes on
nonlinear surfaces in a high-dimensional space. The soundness of these bounding
boxes is then proved using the dReal SMT solver. We demonstrate the practical
efficacy of our technique on a variety of benchmarks and show that DIFFRNN
outperforms state-of-the-art RNN verification tools such as POPQORN.
- Abstract（参考訳）: LSTM(Long Short Term Memory)ネットワークのようなリカレントニューラルネットワーク(RNN)は、画像処理、データ分類、音声認識、自律システムにおけるコントローラなどの様々なアプリケーションで人気を集めている。
実際の環境では、携帯電話や組み込みデバイスのようなリソース制約のあるプラットフォームにそのようなRNNをデプロイする必要があることが多い。
このようなコンポーネントのメモリフットプリントとエネルギー消費がボトルネックになるにつれて、様々なヒューリスティックな技術を使ってネットワークを圧縮し最適化することに関心が向けられる。
しかし、これらの手法は、例えば、敵の入力に対する最適化されたネットワークの安全性や、最適化された元のネットワークの等価性を保証するものではない。
そこで本研究では,構造的に類似する2つのニューラルネットワークの等価性を検証するための最初の差分検証手法であるdiffrnnを提案する。
ReLUに基づくフィードフォワードニューラルネットワークの差分検証に関する既存の研究は、SigmoidやTanhのような非線形活性化関数を回避できないRNNには適用されない。
RNNはまた、シーケンシャルな入力の処理、複雑なフィードバック構造、ゲートと状態間の相互作用など、ユニークな課題も抱えている。
DIFFRNNでは、非線形活性化関数を線形制約で有界にすることでこれらの課題を克服し、高次元空間における非線形曲面上の厳密な有界ボックスを計算するために制約付き最適化問題を解く。
これらの境界箱の音質は、dReal SMTソルバを用いて証明される。
各種ベンチマークにおいて本手法の有効性を実証し,DIFFRNNがPOPQORNのような最先端のRNN検証ツールより優れていることを示す。
関連論文リスト
- Accurate Mapping of RNNs on Neuromorphic Hardware with Adaptive Spiking Neurons [2.9410174624086025]
我々は、SigmaDelta$-low-pass RNN(lpRNN)を、レートベースのRNNをスパイクニューラルネットワーク(SNN)にマッピングするために提示する。
適応スパイキングニューロンモデルは、$SigmaDelta$-modulationを使って信号を符号化し、正確なマッピングを可能にする。
我々は、Intelのニューロモルフィック研究チップLoihiにおけるlpRNNの実装を実演する。
論文 参考訳（メタデータ） (2024-07-18T14:06:07Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Hybrid SNN-ANN: Energy-Efficient Classification and Object Detection for
Event-Based Vision [64.71260357476602]
イベントベースの視覚センサは、画像フレームではなく、イベントストリームの局所的な画素単位の明るさ変化を符号化する。
イベントベースセンサーによる物体認識の最近の進歩は、ディープニューラルネットワークの変換によるものである。
本稿では、イベントベースのパターン認識とオブジェクト検出のためのディープニューラルネットワークのエンドツーエンドトレーニングのためのハイブリッドアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-06T23:45:58Z) - iRNN: Integer-only Recurrent Neural Network [0.8766022970635899]
精度の高い整数専用リカレントニューラルネットワーク(iRNN)を得るための量子化学習法を提案する。
当社のiRNNは、フル精度のものと同等のパフォーマンスを維持しており、スマートフォンへの展開により、ランタイムのパフォーマンスが2倍、モデルサイズが4倍に向上しています。
論文 参考訳（メタデータ） (2021-09-20T20:17:40Z) - Pruning and Slicing Neural Networks using Formal Verification [0.2538209532048866]
ディープニューラルネットワーク(DNN)は、様々なコンピュータシステムにおいてますます重要な役割を担っている。
これらのネットワークを作成するために、エンジニアは通常、望ましいトポロジを指定し、自動トレーニングアルゴリズムを使用してネットワークの重みを選択する。
本稿では,近年のDNN検証の進歩を活用して,この問題に対処することを提案する。
論文 参考訳（メタデータ） (2021-05-28T07:53:50Z) - Skip-Connected Self-Recurrent Spiking Neural Networks with Joint
Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。
ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
論文 参考訳（メタデータ） (2020-10-23T22:27:13Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Fractional Deep Neural Network via Constrained Optimization [0.0]
本稿では,ディープニューラルネットワーク(DNN)のための新しいアルゴリズムフレームワークを提案する。
Fractional-DNNは、時間非線形常微分方程式(ODE)における分数の時間差分化と見なすことができる。
論文 参考訳（メタデータ） (2020-04-01T21:58:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。