論文の概要: On Optimizing Back-Substitution Methods for Neural Network Verification
- arxiv url: http://arxiv.org/abs/2208.07669v1
- Date: Tue, 16 Aug 2022 11:16:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-17 13:00:38.169723
- Title: On Optimizing Back-Substitution Methods for Neural Network Verification
- Title（参考訳）: ニューラルネットワーク検証のためのバック置換手法の最適化について
- Authors: Tom Zelazny, Haoze Wu, Clark Barrett, Guy Katz
- Abstract要約: 本稿では, 後方置換がより厳密な境界を生じさせるアプローチを提案する。
我々の技術は、多くの既存のシンボル境界伝搬技術に統合できるという意味で、一般的なものである。
- 参考スコア（独自算出の注目度）: 1.4394939014120451
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increasing application of deep learning in mission-critical systems,
there is a growing need to obtain formal guarantees about the behaviors of
neural networks. Indeed, many approaches for verifying neural networks have
been recently proposed, but these generally struggle with limited scalability
or insufficient accuracy. A key component in many state-of-the-art verification
schemes is computing lower and upper bounds on the values that neurons in the
network can obtain for a specific input domain -- and the tighter these bounds,
the more likely the verification is to succeed. Many common algorithms for
computing these bounds are variations of the symbolic-bound propagation method;
and among these, approaches that utilize a process called back-substitution are
particularly successful. In this paper, we present an approach for making
back-substitution produce tighter bounds. To achieve this, we formulate and
then minimize the imprecision errors incurred during back-substitution. Our
technique is general, in the sense that it can be integrated into numerous
existing symbolic-bound propagation techniques, with only minor modifications.
We implement our approach as a proof-of-concept tool, and present favorable
results compared to state-of-the-art verifiers that perform back-substitution.
- Abstract（参考訳）: ミッションクリティカルなシステムにおけるディープラーニングの適用の増加に伴い、ニューラルネットワークの振る舞いに関する正式な保証を得る必要性が高まっている。
実際、ニューラルネットワークを検証するための多くのアプローチが最近提案されているが、一般的にスケーラビリティの制限や精度の不足に苦労している。
多くの最先端の検証スキームにおける重要な要素は、ネットワーク内のニューロンが特定の入力ドメインに対して取得できる値の下位と上位の境界を計算することである。
これらの境界を計算するための多くの一般的なアルゴリズムはシンボリック・バウンド伝播法の変化であり、中でもバック置換と呼ばれるプロセスを利用するアプローチは特に成功した。
本稿では,後方置換によりより厳密な境界を生み出す手法を提案する。
これを実現するために、後方置換時に発生する不正確な誤差を定式化し、最小化する。
本手法は,多数の既存シンボル境界伝搬技術に統合できるという意味では一般的であり,微調整のみである。
本手法を概念実証ツールとして実装し,バック置換を行う最先端検証器と比較して良好な結果を示す。
関連論文リスト
- Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。
本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。
具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
論文 参考訳（メタデータ） (2024-06-14T16:16:26Z) - Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes [2.5782420501870296]
本稿では,各反復後のコミュニティ割り当ての後部をハードしきい値にすることで,変分推論法を改善するための簡易な方法を提案する。
提案手法は,ネットワークの平均ノード次数が有界であっても,真のコミュニティラベルを収束させ,正確に復元可能であることを示す。
論文 参考訳（メタデータ） (2023-01-12T00:24:54Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Tighter Abstract Queries in Neural Network Verification [0.0]
CEGARETTEは,システムとプロパティを同時に抽象化し,洗練する新しい検証機構である。
私たちの結果は有望であり、複数のベンチマークよりもパフォーマンスが大幅に向上したことを証明しています。
論文 参考訳（メタデータ） (2022-10-23T22:18:35Z) - Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。
我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文 参考訳（メタデータ） (2022-10-14T19:31:39Z) - Neural Networks Reduction via Lumping [0.0]
操作数とモデルに関連するパラメータの両方を減らすために、多数のソリューションが公開されている。
これらの還元技術の多くは実際には手法であり、通常、精度を回復するために少なくとも1つの再訓練ステップを必要とする。
データや微調整を使わずにネットワーク内のニューロン数を削減し,正確な動作を完全に保存するプルーニング手法を提案する。
論文 参考訳（メタデータ） (2022-09-15T17:13:07Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳（メタデータ） (2020-06-28T23:09:27Z) - Debona: Decoupled Boundary Network Analysis for Tighter Bounds and
Faster Adversarial Robustness Proofs [2.1320960069210484]
ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。
このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。
畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
論文 参考訳（メタデータ） (2020-06-16T10:00:33Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。