論文の概要: On Preimage Approximation for Neural Networks

• arxiv url: http://arxiv.org/abs/2305.03686v2
• Date: Mon, 8 May 2023 14:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 11:12:46.616492
• Title: On Preimage Approximation for Neural Networks
• Title（参考訳）: ニューラルネットワークの事前近似について
• Authors: Xiyue Zhang, Benjie Wang, Marta Kwiatkowska
• Abstract要約: 本稿では,ニューラルネットワークの事前画像の記号下近似を生成するための,効率的かつ実用的なリアルタイムアルゴリズムを提案する。 提案アルゴリズムは,入力領域をサブリージョンに分割することで,ボリューム近似誤差を反復的に最小化する。 また,本手法の定量的グローバル検証への応用を実証する。
• 参考スコア（独自算出の注目度）: 24.69035083346964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network verification mainly focuses on local robustness properties. However, often it is important to know whether a given property holds globally for the whole input domain, and if not then for what proportion of the input the property is true. While exact preimage generation can construct an equivalent representation of neural networks that can aid such (quantitative) global robustness verification, it is intractable at scale. In this work, we propose an efficient and practical anytime algorithm for generating symbolic under-approximations of the preimage of neural networks based on linear relaxation. Our algorithm iteratively minimizes the volume approximation error by partitioning the input region into subregions, where the neural network relaxation bounds become tighter. We further employ sampling and differentiable approximations to the volume in order to prioritize regions to split and optimize the parameters of the relaxation, leading to faster improvement and more compact under-approximations. Evaluation results demonstrate that our approach is able to generate preimage approximations significantly faster than exact methods and scales to neural network controllers for which exact preimage generation is intractable. We also demonstrate an application of our approach to quantitative global verification.
• Abstract（参考訳）: ニューラルネットワークの検証は主に局所ロバスト性に着目している。 しかし、与えられたプロパティが入力ドメイン全体に対してグローバルに保持されているかどうかを知ることが重要であり、その場合、そのプロパティのどの割合が真かを知ることが重要である。 正確な前画像生成は、そのような(定量的な)グローバルロバストネス検証を支援するニューラルネットワークの等価表現を構築することができるが、スケールでは難解である。 本研究では,線形緩和に基づくニューラルネットワークの前像の記号下近似を生成するための効率的かつ実用的な時空アルゴリズムを提案する。 我々のアルゴリズムは、入力領域をサブリージョンに分割することでボリューム近似誤差を反復的に最小化する。 さらに,リラクゼーションのパラメータを分割・最適化する領域を優先するために,ボリュームに対するサンプリングおよび微分可能な近似を適用し,より高速に改善し,よりコンパクトな近似を行う。 評価の結果,前画像生成が難解なニューラルネットワークコントローラに対して,精度の高い手法やスケールよりもかなり高速に前画像近似を生成することができた。 また,本手法の定量的グローバル検証への応用を実証する。

関連論文リスト

• PREMAP: A Unifying PREiMage APproximation Framework for Neural Networks [30.701422594374456]
  本稿では,任意の多面体出力集合のアンダー・アンド・オーバー近似を生成する事前抽象化のためのフレームワークを提案する。 提案手法を様々なタスクで評価し,高インプット次元画像分類タスクに対する効率とスケーラビリティの大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-08-17T17:24:47Z)
• Automated Design of Linear Bounding Functions for Sigmoidal Nonlinearities in Neural Networks [23.01933325606068]
  既存の完全検証技術は、すべての堅牢性クエリに対して証明可能な保証を提供するが、小さなニューラルネットワークを超えてスケールするのに苦労する。 本稿では,これらの線形近似の品質向上のためのパラメータ探索手法を提案する。 具体的には、最先端のアルゴリズム構成手法によって与えられた検証問題に慎重に適応する単純な探索手法を用いることで、最先端技術よりも平均で25%のグローバルローバウンドを向上することを示す。
  論文  参考訳（メタデータ） (2024-06-14T16:16:26Z)
• Leveraging Activations for Superpixel Explanations [2.8792218859042453]
  ディープニューラルネットワークの説明ツールキットでは、サリエンシ手法が標準となっている。 本稿では,ディープニューラルネットワーク画像分類器の活性化からセグメンテーションを抽出することで,セグメンタへの依存を避けることを目的とする。 我々のいわゆるNuro-Activated Superpixels(NAS)は、モデルの予測に関連する入力に対する関心領域を分離することができる。
  論文  参考訳（メタデータ） (2024-06-07T13:37:45Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Provably Bounding Neural Network Preimages [18.810882386083655]
  InVPROPアルゴリズムは線形に制約された出力セットの事前画像上の特性を検証する。 他のアプローチとは対照的に、効率的なアルゴリズムはGPU加速であり、線形プログラミング解決器を必要としない。 その結果, 従来よりも2.5倍速く, 2500倍以上の過近似が得られていることがわかった。
  論文  参考訳（メタデータ） (2023-02-02T20:34:45Z)
• The #DNN-Verification Problem: Counting Unsafe Inputs for Deep Neural Networks [94.63547069706459]
  #DNN-Verification問題は、DNNの入力構成の数を数えることによって安全性に反する結果となる。 違反の正確な数を返す新しい手法を提案する。 安全クリティカルなベンチマークのセットに関する実験結果を示す。
  論文  参考訳（メタデータ） (2023-01-17T18:32:01Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Spelunking the Deep: Guaranteed Queries for General Neural Implicit Surfaces [35.438964954948574]
  この研究は、広範囲の既存アーキテクチャに対して、一般的なニューラル暗黙関数でクエリを直接実行するための新しいアプローチを示す。 私たちのキーとなるツールは、ニューラルネットワークへのレンジ分析の適用であり、ネットワークの出力を領域を越えてバウンドするために自動演算ルールを使用します。 得られた境界を用いて、レイキャスト、交差試験、空間階層の構築、高速メッシュ抽出、最近点評価などのクエリを開発する。
  論文  参考訳（メタデータ） (2022-02-05T00:37:08Z)
• Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
  入射神経表現は、一般的な信号を表す新しい道である。 現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。 メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T18:02:53Z)
• Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
  現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。 本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。 本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
  論文  参考訳（メタデータ） (2021-03-31T08:15:17Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。