論文の概要: On Preimage Approximation for Neural Networks
- arxiv url: http://arxiv.org/abs/2305.03686v2
- Date: Mon, 8 May 2023 14:04:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 11:12:46.616492
- Title: On Preimage Approximation for Neural Networks
- Title(参考訳): ニューラルネットワークの事前近似について
- Authors: Xiyue Zhang, Benjie Wang, Marta Kwiatkowska
- Abstract要約: 本稿では,ニューラルネットワークの事前画像の記号下近似を生成するための,効率的かつ実用的なリアルタイムアルゴリズムを提案する。
提案アルゴリズムは,入力領域をサブリージョンに分割することで,ボリューム近似誤差を反復的に最小化する。
また,本手法の定量的グローバル検証への応用を実証する。
- 参考スコア(独自算出の注目度): 24.69035083346964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network verification mainly focuses on local robustness properties.
However, often it is important to know whether a given property holds globally
for the whole input domain, and if not then for what proportion of the input
the property is true. While exact preimage generation can construct an
equivalent representation of neural networks that can aid such (quantitative)
global robustness verification, it is intractable at scale. In this work, we
propose an efficient and practical anytime algorithm for generating symbolic
under-approximations of the preimage of neural networks based on linear
relaxation. Our algorithm iteratively minimizes the volume approximation error
by partitioning the input region into subregions, where the neural network
relaxation bounds become tighter. We further employ sampling and differentiable
approximations to the volume in order to prioritize regions to split and
optimize the parameters of the relaxation, leading to faster improvement and
more compact under-approximations. Evaluation results demonstrate that our
approach is able to generate preimage approximations significantly faster than
exact methods and scales to neural network controllers for which exact preimage
generation is intractable. We also demonstrate an application of our approach
to quantitative global verification.
- Abstract(参考訳): ニューラルネットワークの検証は主に局所ロバスト性に着目している。
しかし、与えられたプロパティが入力ドメイン全体に対してグローバルに保持されているかどうかを知ることが重要であり、その場合、そのプロパティのどの割合が真かを知ることが重要である。
正確な前画像生成は、そのような(定量的な)グローバルロバストネス検証を支援するニューラルネットワークの等価表現を構築することができるが、スケールでは難解である。
本研究では,線形緩和に基づくニューラルネットワークの前像の記号下近似を生成するための効率的かつ実用的な時空アルゴリズムを提案する。
我々のアルゴリズムは、入力領域をサブリージョンに分割することでボリューム近似誤差を反復的に最小化する。
さらに,リラクゼーションのパラメータを分割・最適化する領域を優先するために,ボリュームに対するサンプリングおよび微分可能な近似を適用し,より高速に改善し,よりコンパクトな近似を行う。
評価の結果,前画像生成が難解なニューラルネットワークコントローラに対して,精度の高い手法やスケールよりもかなり高速に前画像近似を生成することができた。
また,本手法の定量的グローバル検証への応用を実証する。
関連論文リスト
- Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Provably Bounding Neural Network Preimages [18.810882386083655]
InVPROPアルゴリズムは線形に制約された出力セットの事前画像上の特性を検証する。
他のアプローチとは対照的に、効率的なアルゴリズムはGPU加速であり、線形プログラミング解決器を必要としない。
その結果, 従来よりも2.5倍速く, 2500倍以上の過近似が得られていることがわかった。
論文 参考訳(メタデータ) (2023-02-02T20:34:45Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳(メタデータ) (2023-01-17T18:32:01Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Spelunking the Deep: Guaranteed Queries for General Neural Implicit
Surfaces [35.438964954948574]
この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。
私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。
得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
論文 参考訳(メタデータ) (2022-02-05T00:37:08Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T18:02:53Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳(メタデータ) (2021-03-31T08:15:17Z) - Lightweight Convolutional Neural Network with Gaussian-based Grasping
Representation for Robotic Grasping Detection [4.683939045230724]
現在の物体検出器は、高い精度と高速な推論速度のバランスを取るのが難しい。
ロボットつかみポーズ推定を行うための効率的かつ堅牢な完全畳み込みニューラルネットワークモデルを提案する。
ネットワークは、他の優れたアルゴリズムよりも桁違いに小さい順序です。
論文 参考訳(メタデータ) (2021-01-25T16:36:53Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - Efficient detection of adversarial images [2.6249027950824506]
画像の画素値は外部攻撃者によって修正されるため、人間の目にはほとんど見えない。
本稿では,修正画像の検出を容易にする新しい前処理手法を提案する。
このアルゴリズムの適応バージョンでは、ランダムな数の摂動が適応的に選択される。
論文 参考訳(メタデータ) (2020-07-09T05:35:49Z) - A generalizable saliency map-based interpretation of model outcome [1.14219428942199]
そこで本研究では,モデルの入力と出力を用いてサリエンシマップを生成する非侵襲的解釈可能性手法を提案する。
実験の結果,本手法は入力の正解部分を89%の精度で再現可能であることがわかった。
論文 参考訳(メタデータ) (2020-06-16T20:34:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。