論文の概要: Zonotope Domains for Lagrangian Neural Network Verification

• arxiv url: http://arxiv.org/abs/2210.08069v1
• Date: Fri, 14 Oct 2022 19:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 16:56:02.236339
• Title: Zonotope Domains for Lagrangian Neural Network Verification
• Title（参考訳）: ラグランジアンニューラルネットワーク検証のためのZonotopeドメイン
• Authors: Matt Jordan, Jonathan Hayase, Alexandros G. Dimakis, Sewoong Oh
• Abstract要約: 我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
• 参考スコア（独自算出の注目度）: 102.13346781220383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network verification aims to provide provable bounds for the output of a neural network for a given input range. Notable prior works in this domain have either generated bounds using abstract domains, which preserve some dependency between intermediate neurons in the network; or framed verification as an optimization problem and solved a relaxation using Lagrangian methods. A key drawback of the latter technique is that each neuron is treated independently, thereby ignoring important neuron interactions. We provide an approach that merges these two threads and uses zonotopes within a Lagrangian decomposition. Crucially, we can decompose the problem of verifying a deep neural network into the verification of many 2-layer neural networks. While each of these problems is provably hard, we provide efficient relaxation methods that are amenable to efficient dual ascent procedures. Our technique yields bounds that improve upon both linear programming and Lagrangian-based verification techniques in both time and bound tightness.
• Abstract（参考訳）: ニューラルネットワーク検証は、与えられた入力範囲に対するニューラルネットワークの出力に対する証明可能なバウンダリを提供することを目的としている。 この領域の著名な先行研究は、ネットワーク内の中間ニューロン間の依存関係を保持する抽象的領域を用いて境界を生成するか、最適化問題としてフレーム検証を行い、ラグランジアン法を用いて緩和を解く。 後者の技法の鍵となる欠点は、各ニューロンが独立して処理され、重要なニューロンの相互作用が無視されることである。 この2つのスレッドをマージし、ラグランジュ分解内でゾノトペを使用するアプローチを提案する。 重要な点として,深層ニューラルネットワークの検証問題を,複数の2層ニューラルネットワークの検証に分解することができる。 これらの問題のそれぞれが困難であることは証明できるが、効率的な二重昇降手順に適応可能な効率的な緩和方法を提供する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方を時間的・拘束的密度で改善する境界を与える。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Mean-field Analysis on Two-layer Neural Networks from a Kernel Perspective [40.69646918673903]
  2層ニューラルネットワークは、どのカーネル手法よりも効率的に複数の再生カーネルヒルベルト空間の結合を学習できることを示す。 また,グローバルな最適度に収束するラベルノイズプロシージャを開発し,その自由度が暗黙の正規化として現れることを示す。
  論文  参考訳（メタデータ） (2024-03-22T02:41:57Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems [2.6695224599322214]
  我々は、逆問題を解決するために訓練された教師なしフィードフォワード多層ニューラルネットワークのクラスに対して、決定論的収束と回復保証を提供する。 また、スムーズなアクティベーション関数を持つ2層ディープ逆プリエントネットワークが保証の恩恵を受けるようなオーバーパラメトリゼーション境界を導出する。
  論文  参考訳（メタデータ） (2023-09-21T14:48:02Z)
• Approximating nonlinear functions with latent boundaries in low-rank excitatory-inhibitory spiking networks [5.955727366271805]
  スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。 本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
  論文  参考訳（メタデータ） (2023-07-18T15:17:00Z)
• Open- and Closed-Loop Neural Network Verification using Polynomial Zonotopes [6.591194329459251]
  本稿では, 密接な非接触活性化関数を効率的に計算するための新しい手法を提案する。 特に,各ニューロンの入力出力関係を近似を用いて評価する。 その結果、他の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2022-07-06T14:39:19Z)
• Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed [27.38015169185521]
  2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。 ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:10:15Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。