論文の概要: DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting

• arxiv url: http://arxiv.org/abs/2106.09117v1
• Date: Wed, 16 Jun 2021 20:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 15:46:39.260784
• Title: DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting
• Title（参考訳）: DeepSplit: オペレータ分割によるディープニューラルネットワークのスケーラブルな検証
• Authors: Shaoru Chen, Eric Wong, J. Zico Kolter, Mahyar Fazlyab
• Abstract要約: 入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 70.62923754433461
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Analyzing the worst-case performance of deep neural networks against input perturbations amounts to solving a large-scale non-convex optimization problem, for which several past works have proposed convex relaxations as a promising alternative. However, even for reasonably-sized neural networks, these relaxations are not tractable, and so must be replaced by even weaker relaxations in practice. In this work, we propose a novel operator splitting method that can directly solve a convex relaxation of the problem to high accuracy, by splitting it into smaller sub-problems that often have analytical solutions. The method is modular and scales to problem instances that were previously impossible to solve exactly due to their size. Furthermore, the solver operations are amenable to fast parallelization with GPU acceleration. We demonstrate our method in obtaining tighter bounds on the worst-case performance of large convolutional networks in image classification and reinforcement learning settings.
• Abstract（参考訳）: ディープニューラルネットワークの入力摂動に対する最悪の場合のパフォーマンス分析は、過去にいくつかの研究が有望な代替として凸緩和を提案した大規模な非凸最適化問題を解くのにかかっている。 しかし、合理的な大きさのニューラルネットワークであっても、これらの緩和は引きずられず、実際にはより弱い緩和に置き換えなければならない。 本研究では,解析解をしばしば有するより小さな部分問題に分割することにより,問題の凸緩和を直接高精度に解く新しい作用素分割法を提案する。 このメソッドはモジュラーであり、以前はそのサイズのために正確に解決できなかった問題インスタンスにスケールする。 さらに、ソルバ演算はGPUアクセラレーションによる高速並列化に対応可能である。 我々は,画像分類と強化学習設定において,大規模な畳み込みネットワークの最悪の性能について,より厳密な境界を求める方法を示す。

関連論文リスト

• Optimization Over Trained Neural Networks: Taking a Relaxing Walk [4.517039147450688]
  ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
  論文  参考訳（メタデータ） (2024-01-07T11:15:00Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Physics-informed neural network simulation of multiphase poroelasticity using stress-split sequential training [0.0]
  本稿では、弾性ネットワークに基づく偏微分方程式(PDE)に支配される問題を解くための枠組みを提案する。 この手法は, ポロシ, バリ・シエの注入-生産問題, および2相排水問題の解法に収束する。
  論文  参考訳（メタデータ） (2021-10-06T20:09:09Z)
• Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
  本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。 モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。 数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
  論文  参考訳（メタデータ） (2021-08-15T21:32:47Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training [12.755664985045582]
  本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。 提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T01:05:12Z)
• Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach [0.0]
  本稿では、予測精度とネットワーク複雑性を2つの個別目的関数として扱うことにより、ニューラルネットワークのトレーニングに関する多目的視点を提案する。 模範的畳み込みニューラルネットワークの予備的な数値結果から、ニューラルネットワークの複雑性の大幅な低減と精度の低下が可能であることが確認された。
  論文  参考訳（メタデータ） (2020-08-31T13:28:03Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。