論文の概要: NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation

• arxiv url: http://arxiv.org/abs/2009.09943v1
• Date: Mon, 21 Sep 2020 15:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 04:43:34.190945
• Title: NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation
• Title（参考訳）: NeuroDiff:微細近似を用いたニューラルネットワークのスケーラブルな微分検証
• Authors: Brandon Paulsen, Jingbo Wang, Jiawei Wang, Chao Wang
• Abstract要約: NeuroDiffは、差分検証の精度を大幅に向上させる、象徴的できめ細かな近似技術である。 以上の結果から,NeuroDiffは最先端のツールよりも1000倍高速で5倍精度が高いことがわかった。
• 参考スコア（独自算出の注目度）: 18.653663583989122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As neural networks make their way into safety-critical systems, where misbehavior can lead to catastrophes, there is a growing interest in certifying the equivalence of two structurally similar neural networks. For example, compression techniques are often used in practice for deploying trained neural networks on computationally- and energy-constrained devices, which raises the question of how faithfully the compressed network mimics the original network. Unfortunately, existing methods either focus on verifying a single network or rely on loose approximations to prove the equivalence of two networks. Due to overly conservative approximation, differential verification lacks scalability in terms of both accuracy and computational cost. To overcome these problems, we propose NeuroDiff, a symbolic and fine-grained approximation technique that drastically increases the accuracy of differential verification while achieving many orders-of-magnitude speedup. NeuroDiff has two key contributions. The first one is new convex approximations that more accurately bound the difference neurons of two networks under all possible inputs. The second one is judicious use of symbolic variables to represent neurons whose difference bounds have accumulated significant error. We also find that these two techniques are complementary, i.e., when combined, the benefit is greater than the sum of their individual benefits. We have evaluated NeuroDiff on a variety of differential verification tasks. Our results show that NeuroDiff is up to 1000X faster and 5X more accurate than the state-of-the-art tool.
• Abstract（参考訳）: ニューラルネットワークが安全性を重要視するシステムに入り込むにつれて、構造的に類似した2つのニューラルネットワークの等価性を保証することへの関心が高まっている。 例えば、トレーニングされたニューラルネットワークを計算的およびエネルギー制約のあるデバイスにデプロイするために、実際に圧縮技術が使用されることが多い。 残念ながら、既存の手法では1つのネットワークを検証するか、2つのネットワークの等価性を証明するためにゆるい近似に依存する。 過度に保守的な近似のため、差分検証は精度と計算コストの両面でスケーラビリティに欠ける。 これらの問題を克服するため,我々は,差分検証の精度を劇的に向上し,多数の桁数高速化を実現するシンボリックおよび細粒度近似手法であるneurodiffを提案する。 NeuroDiffには2つの重要な貢献がある。 1つは新しい凸近似で、2つのネットワークの差分ニューロンを可能な全ての入力でより正確に結合する。 2つ目は、異なる境界が大きな誤差を蓄積したニューロンを表現するために、記号変数を巧みに使用することである。 また,これら2つの手法が相補的であること,すなわち,組み合わせた場合の利益は,それぞれの利益の合計よりも大きいことが分かりました。 我々は様々な差分検証タスクでNeuroDiffを評価した。 以上の結果から,neurodiffは最先端ツールよりも最大1000倍高速で5倍精度が高いことがわかった。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Fourier Neural Networks for Function Approximation [2.840363325289377]
  ニューラルネットワークが普遍近似器であることは広く証明されている。 特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
  論文  参考訳（メタデータ） (2021-10-21T09:30:26Z)
• ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
  我々は2つの密接に関連するネットワークの差分検証法を開発した。 我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。 実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-01-10T20:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。