論文の概要: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2301.11783v2
- Date: Wed, 17 May 2023 00:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 20:16:17.683520
- Title: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- Title(参考訳): 混合整数プログラミングによるニューラルネットワークの認証可逆性
- Authors: Tianqi Cui, Thomas Bertalan, George J. Pappas, Manfred Morari, Ioannis
G. Kevrekidis and Mahyar Fazlyab
- Abstract要約: ニューラルネットワークは敵の攻撃に弱いことが知られている。
ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。
ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
- 参考スコア(独自算出の注目度): 16.64960701212292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are known to be vulnerable to adversarial attacks, which are
small, imperceptible perturbations that can significantly alter the network's
output. Conversely, there may exist large, meaningful perturbations that do not
affect the network's decision (excessive invariance). In our research, we
investigate this latter phenomenon in two contexts: (a) discrete-time dynamical
system identification, and (b) the calibration of a neural network's output to
that of another network. We examine noninvertibility through the lens of
mathematical optimization, where the global solution measures the ``safety" of
the network predictions by their distance from the non-invertibility boundary.
We formulate mixed-integer programs (MIPs) for ReLU networks and $L_p$ norms
($p=1,2,\infty$) that apply to neural network approximators of dynamical
systems. We also discuss how our findings can be useful for invertibility
certification in transformations between neural networks, e.g. between
different levels of network pruning.
- Abstract(参考訳): ニューラルネットワークは、ネットワークのアウトプットを著しく変えうる、小さく、知覚できない摂動である敵の攻撃に対して脆弱であることが知られている。
逆に、ネットワークの決定に影響を与えない大きな、意味のある摂動が存在する(過剰な不変性)。
本研究では,後者の現象を2つの文脈で検討する。
(a)離散時間力学系識別、及び
(b)ニューラルネットワークの出力を他のネットワークの出力に校正すること。
非可逆性境界からの距離によってネットワーク予測の ``safety' を大域解が測定する数理最適化のレンズを通して非可逆性を調べる。
ReLUネットワークの混合整数プログラム(MIP)と力学系のニューラルネットワーク近似に適用される$L_p$ノルム(p=1,2,\infty$)を定式化する。
また,ニューラルネットワーク間のトランスフォーメーション,例えばネットワークプルーニングの異なるレベル間の変換における可逆性証明に,この知見がどのように役立つかについても論じた。
関連論文リスト
- Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳(メタデータ) (2024-02-16T02:11:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Specification-Driven Neural Network Reduction for Scalable Formal
Verification [8.751383865142772]
本稿では,ネットワークの検証が元のネットワークの検証を意味することを確実にする,保守的なニューラルネットワーク削減手法を提案する。
評価の結果,本手法はニューロン数の5%未満までネットワークを縮小し,検証時間を短縮できることがわかった。
論文 参考訳(メタデータ) (2023-05-03T07:13:47Z) - Vanilla feedforward neural networks as a discretization of dynamic
systems [6.4395686398659135]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文 参考訳(メタデータ) (2022-09-22T10:32:08Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。
その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
論文 参考訳(メタデータ) (2021-05-20T23:19:43Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳(メタデータ) (2020-07-17T19:32:48Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳(メタデータ) (2020-04-06T08:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。