論文の概要: Online Verification of Deep Neural Networks under Domain or Weight Shift
- arxiv url: http://arxiv.org/abs/2106.12732v1
- Date: Thu, 24 Jun 2021 02:38:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-26 05:56:29.054243
- Title: Online Verification of Deep Neural Networks under Domain or Weight Shift
- Title（参考訳）: ドメインやウェイトシフトを考慮したディープニューラルネットワークのオンライン検証
- Authors: Tianhao Wei, Changliu Liu
- Abstract要約: 既存の検証方法は、比較的単純な仕様と固定されたネットワークに限られている。
本稿では,ディープニューラルネットワークのオンライン検証を高速化する3種類の手法を提案する。
実験の結果,我々のオンライン検証アルゴリズムは,既存の検証アルゴリズムよりも最大2桁高速であることがわかった。
- 参考スコア（独自算出の注目度）: 2.512827436728378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although neural networks are widely used, it remains challenging to formally
verify the safety and robustness of neural networks in real-world applications.
Existing methods are designed to verify the network before use, which is
limited to relatively simple specifications and fixed networks. These methods
are not ready to be applied to real-world problems with complex and/or
dynamically changing specifications and networks. To effectively handle
dynamically changing specifications and networks, the verification needs to be
performed online when these changes take place. However, it is still
challenging to run existing verification algorithms online. Our key insight is
that we can leverage the temporal dependencies of these changes to accelerate
the verification process, e.g., by warm starting new online verification using
previous verified results. This paper establishes a novel framework for
scalable online verification to solve real-world verification problems with
dynamically changing specifications and/or networks, known as domain shift and
weight shift respectively. We propose three types of techniques (branch
management, perturbation tolerance analysis, and incremental computation) to
accelerate the online verification of deep neural networks. Experiment results
show that our online verification algorithm is up to two orders of magnitude
faster than existing verification algorithms, and thus can scale to real-world
applications.
- Abstract（参考訳）: ニューラルネットワークは広く使われているが、現実のアプリケーションにおけるニューラルネットワークの安全性と堅牢性を検証することは依然として困難である。
既存の手法は使用前にネットワークを検証するよう設計されており、比較的単純な仕様と固定されたネットワークに限定されている。
これらの手法は、複雑な仕様やネットワークが動的に変化する実際の問題に適用する準備が整っていない。
仕様やネットワークの動的変更を効果的に処理するには、これらの変更が発生したときに検証をオンラインで行う必要がある。
しかし、既存の検証アルゴリズムをオンラインで実行することは依然として困難である。
私たちの重要な洞察は、過去の検証結果を使って新しいオンライン検証を暖かく開始することで、これらの変更の時間的依存性を利用して検証プロセスを加速できるということです。
本稿では,ドメインシフトと重みシフトと呼ばれる動的に変化する仕様やネットワークを用いて,実世界の検証問題を解決するためのスケーラブルなオンライン検証フレームワークを確立する。
本稿では,深層ニューラルネットワークのオンライン検証を高速化するための3種類の手法(ブランチ管理,摂動耐性解析,インクリメンタル計算)を提案する。
実験の結果,オンライン検証アルゴリズムは既存の検証アルゴリズムよりも最大2桁高速であり,実世界のアプリケーションに拡張可能であることがわかった。
関連論文リスト
- Expediting Neural Network Verification via Network Reduction [4.8621567234713305]
本稿では,検証前の事前処理手法として,ネットワーク削減手法を提案する。
提案手法は、安定なReLUニューロンを除去し、それらをシーケンシャルなニューラルネットワークに変換することにより、ニューラルネットワークを削減する。
我々は、最先端の完全および不完全検証ツールの縮小手法をインスタンス化する。
論文 参考訳（メタデータ） (2023-08-07T06:23:24Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Dynamics-aware Adversarial Attack of Adaptive Neural Networks [75.50214601278455]
適応型ニューラルネットワークの動的対向攻撃問題について検討する。
本稿では,LGM(Leaded Gradient Method)を提案する。
我々のLGMは、動的無意識攻撃法と比較して、優れた敵攻撃性能を達成している。
論文 参考訳（メタデータ） (2022-10-15T01:32:08Z) - Neural Network Verification using Residual Reasoning [0.0]
本稿では,経験的推論を用いて,抽象化に基づくニューラルネットワークの検証の強化を提案する。
本質的には、精細化されたネットワークが正しく振る舞うことを保証された検索空間の一部に関する情報を、検証者が格納することができる。
論文 参考訳（メタデータ） (2022-08-05T10:39:04Z) - CheckINN: Wide Range Neural Network Verification in Imandra [0.0]
我々は,関数型プログラミング言語Imandraと定理証明器が,ニューラルネットワーク検証のための総合的な基盤を提供する方法を示す。
We developed a novel library CheckINN that formals neural network in Imandra, and covers different important facets of neural network verification。
論文 参考訳（メタデータ） (2022-07-21T16:06:58Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳（メタデータ） (2022-02-23T18:23:07Z) - Towards Repairing Neural Networks Correctly [6.600380575920419]
本稿では,ニューラルネットワークの正確性を保証するための実行時検証手法を提案する。
実験結果から,本手法は特性を満たすことが保証されたニューラルネットワークを効果的に生成することが示された。
論文 参考訳（メタデータ） (2020-12-03T12:31:07Z) - Enabling certification of verification-agnostic networks via
memory-efficient semidefinite programming [97.40955121478716]
本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。
L-inf の精度は 1% から 88% ,6% から 40% に改善した。
また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
論文 参考訳（メタデータ） (2020-10-22T12:32:29Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳（メタデータ） (2020-04-06T08:08:24Z) - Robustness Verification for Transformers [165.25112192811764]
我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。
提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。
これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
論文 参考訳（メタデータ） (2020-02-16T17:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。