論文の概要: ReluDiff: Differential Verification of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2001.03662v2
• Date: Wed, 29 Jan 2020 21:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:55:35.833617
• Title: ReluDiff: Differential Verification of Deep Neural Networks
• Title（参考訳）: ReluDiff: ディープニューラルネットワークの差分検証
• Authors: Brandon Paulsen, Jingbo Wang, Chao Wang
• Abstract要約: 我々は2つの密接に関連するネットワークの差分検証法を開発した。 我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。 実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
• 参考スコア（独自算出の注目度）: 8.601847909798165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep neural networks are increasingly being deployed in practice, their efficiency has become an important issue. While there are compression techniques for reducing the network's size, energy consumption and computational requirement, they only demonstrate empirically that there is no loss of accuracy, but lack formal guarantees of the compressed network, e.g., in the presence of adversarial examples. Existing verification techniques such as Reluplex, ReluVal, and DeepPoly provide formal guarantees, but they are designed for analyzing a single network instead of the relationship between two networks. To fill the gap, we develop a new method for differential verification of two closely related networks. Our method consists of a fast but approximate forward interval analysis pass followed by a backward pass that iteratively refines the approximation until the desired property is verified. We have two main innovations. During the forward pass, we exploit structural and behavioral similarities of the two networks to more accurately bound the difference between the output neurons of the two networks. Then in the backward pass, we leverage the gradient differences to more accurately compute the most beneficial refinement. Our experiments show that, compared to state-of-the-art verification tools, our method can achieve orders-of-magnitude speedup and prove many more properties than existing tools.
• Abstract（参考訳）: ディープニューラルネットワークの実用化が進むにつれて、その効率性は重要な問題となっている。 ネットワークのサイズ、エネルギー消費量、計算要件を減らすための圧縮技術はあるが、それらは、精度の損失がないことを実証的に証明するだけでなく、例えば、逆の例がある場合など、圧縮されたネットワークの形式的な保証を欠いている。 Reluplex、ReluVal、DeepPolyといった既存の検証技術は正式な保証を提供するが、2つのネットワークの関係ではなく、1つのネットワークを分析するように設計されている。 このギャップを埋めるために,2つの密接な関連ネットワークの差分検証法を開発した。 提案手法は,高速だが近似的な前方区間解析パスと,所望の特性が検証されるまで反復的に近似を洗練する後方通過からなる。 主なイノベーションは2つあります。 フォワードパスでは、2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に束縛する。 後続パスでは、勾配差を利用して、より正確に最も有益な改良を計算します。 実験では,最先端の検証ツールと比較して,桁違いなスピードアップを実現し,既存のツールよりも多くの特性を証明できることを示した。

関連論文リスト

• Provably Tightest Linear Approximation for Robustness Verification of Sigmoid-like Neural Networks [22.239149433169747]
  ディープニューラルネットワークの堅牢性は、現代のAI対応システムにとって不可欠である。 非線形性のため、Sigmoidのようなニューラルネットワークは広範囲のアプリケーションで採用されている。
  論文  参考訳（メタデータ） (2022-08-21T12:07:36Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation [18.653663583989122]
  NeuroDiffは、差分検証の精度を大幅に向上させる、象徴的できめ細かな近似技術である。 以上の結果から,NeuroDiffは最先端のツールよりも1000倍高速で5倍精度が高いことがわかった。
  論文  参考訳（メタデータ） (2020-09-21T15:00:25Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Debona: Decoupled Boundary Network Analysis for Tighter Bounds and Faster Adversarial Robustness Proofs [2.1320960069210484]
  ニューラルネットワークは、安全クリティカルな現実世界のアプリケーションで一般的に使用される。 このような敵の例が存在しないこと、あるいは具体的な例を提供することは、安全なアプリケーションを保証するために不可欠である。 畳み込みネットワークにおける最大プーリング層上層と下層の境界の厳密な証明を行う。
  論文  参考訳（メタデータ） (2020-06-16T10:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。