論文の概要: Provable Preimage Under-Approximation for Neural Networks (Full Version)
- arxiv url: http://arxiv.org/abs/2305.03686v4
- Date: Sat, 27 Jan 2024 18:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 22:56:00.990550
- Title: Provable Preimage Under-Approximation for Neural Networks (Full Version)
- Title（参考訳）: ニューラルネットワークの確率的アンダー近似(フルバージョン)
- Authors: Xiyue Zhang, Benjie Wang, Marta Kwiatkowska
- Abstract要約: ニューラルネットワークに対する任意のポリヘドロン出力セットの事前像の記号的アンダー近似を生成するための効率的な時空アルゴリズムを提案する。
実験により,本手法の有効性を,高次元MNIST分類タスクを含む領域にわたって検証した。
我々は,形式的な保証を提供するために,ポリトープ表現の不整合和を利用する,前者のための健全で完全なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 27.519993407376862
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network verification mainly focuses on local robustness properties,
which can be checked by bounding the image (set of outputs) of a given input
set. However, often it is important to know whether a given property holds
globally for the input domain, and if not then for what proportion of the input
the property is true. To analyze such properties requires computing preimage
abstractions of neural networks. In this work, we propose an efficient anytime
algorithm for generating symbolic under-approximations of the preimage of any
polyhedron output set for neural networks. Our algorithm combines a novel
technique for cheaply computing polytope preimage under-approximations using
linear relaxation, with a carefully-designed refinement procedure that
iteratively partitions the input region into subregions using input and ReLU
splitting in order to improve the approximation. Empirically, we validate the
efficacy of our method across a range of domains, including a high-dimensional
MNIST classification task beyond the reach of existing preimage computation
methods. Finally, as use cases, we showcase the application to quantitative
verification and robustness analysis. We present a sound and complete algorithm
for the former, which exploits our disjoint union of polytopes representation
to provide formal guarantees. For the latter, we find that our method can
provide useful quantitative information even when standard verifiers cannot
verify a robustness property.
- Abstract（参考訳）: ニューラルネットワークの検証は主に局所ロバスト性に注目し、与えられた入力セットのイメージ(出力のセット)をバウンドすることでチェックできる。
しかし、与えられたプロパティが入力ドメインに対してグローバルに保持されているかどうかを知ることが重要であり、その場合、そのプロパティのどの比率が真かを知ることが重要である。
このような特性を分析するには、ニューラルネットワークのプリイメージ抽象化を計算する必要がある。
本研究では,ニューラルネットワークに対する任意のポリヘドロン出力セットの事前像の記号下近似を生成するための効率的な時空アルゴリズムを提案する。
提案アルゴリズムは, 線形緩和法を用いてポリトープ事前近似を安価に計算する新しい手法と, 近似を改善するために入力領域を入力とReLU分割を用いてサブリージョンに繰り返し分割する精細化手順を組み合わせる。
提案手法の有効性を実証的に検証し,MNISTの高次元分類タスクを既存の事前画像計算手法の範囲を超えた範囲で検証する。
最後に,実例として定量的検証とロバストネス解析への応用について述べる。
我々は,ポリトープ表現の相互結合を利用して形式的保証を行う,前者のための健全で完全なアルゴリズムを提案する。
後者については,標準検証器がロバスト性特性を検証できない場合でも有用な量的情報を提供できることを示す。
関連論文リスト
- PREMAP: A Unifying PREiMage APproximation Framework for Neural Networks [30.701422594374456]
本稿では,任意の多面体出力集合のアンダー・アンド・オーバー近似を生成する事前抽象化のためのフレームワークを提案する。
提案手法を様々なタスクで評価し,高インプット次元画像分類タスクに対する効率とスケーラビリティの大幅な向上を示す。
論文 参考訳（メタデータ） (2024-08-17T17:24:47Z) - Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。
本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。
具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
論文 参考訳（メタデータ） (2024-06-14T16:16:26Z) - Leveraging Activations for Superpixel Explanations [2.8792218859042453]
ディープニューラルネットワークの説明ツールキットでは、サリエンシ手法が標準となっている。
本稿では,ディープニューラルネットワーク画像分類器の活性化からセグメンテーションを抽出することで,セグメンタへの依存を避けることを目的とする。
我々のいわゆるNuro-Activated Superpixels(NAS)は、モデルの予測に関連する入力に対する関心領域を分離することができる。
論文 参考訳（メタデータ） (2024-06-07T13:37:45Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Provably Bounding Neural Network Preimages [18.810882386083655]
InVPROPアルゴリズムは線形に制約された出力セットの事前画像上の特性を検証する。
他のアプローチとは対照的に、効率的なアルゴリズムはGPU加速であり、線形プログラミング解決器を必要としない。
その結果, 従来よりも2.5倍速く, 2500倍以上の過近似が得られていることがわかった。
論文 参考訳（メタデータ） (2023-02-02T20:34:45Z) - The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural
Networks [94.63547069706459]
#DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。
違反の正確な数を返す新しい手法を提案する。
安全クリティカルなベンチマークのセットに関する実験結果を示す。
論文 参考訳（メタデータ） (2023-01-17T18:32:01Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳（メタデータ） (2022-11-29T13:32:38Z) - Spelunking the Deep: Guaranteed Queries for General Neural Implicit
Surfaces [35.438964954948574]
この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。
私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。
得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
論文 参考訳（メタデータ） (2022-02-05T00:37:08Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳（メタデータ） (2021-10-27T18:02:53Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。