論文の概要: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2301.11783v1
- Date: Fri, 27 Jan 2023 15:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 15:09:49.714449
- Title: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- Title(参考訳): 混合整数プログラミングによるニューラルネットワークの認証可逆性
- Authors: Tianqi Cui, Thomas Bertalan, George J. Pappas, Manfred Morari, Ioannis
G. Kevrekidis and Mahyar Fazlyab
- Abstract要約: 敵攻撃では、小さな知覚不能な摂動がネットワークの出力を大きく変える可能性がある。
逆方向では、ネットワークの決定を変更せずに、大きな意味のある摂動が存在する可能性がある。
後者の現象を, (a) 離散時間力学系同定と (b) ニューラルネットワークの出力を他の出力に校正する2つの文脈で研究する。
- 参考スコア(独自算出の注目度): 16.64960701212292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are notoriously vulnerable to adversarial attacks -- small
imperceptible perturbations that can change the network's output drastically.
In the reverse direction, there may exist large, meaningful perturbations that
leave the network's decision unchanged (excessive invariance, nonivertibility).
We study the latter phenomenon in two contexts: (a) discrete-time dynamical
system identification, as well as (b) calibration of the output of one neural
network to the output of another (neural network matching). For ReLU networks
and $L_p$ norms ($p=1,2,\infty$), we formulate these optimization problems as
mixed-integer programs (MIPs) that apply to neural network approximators of
dynamical systems. We also discuss the applicability of our results to
invertibility certification in transformations between neural networks (e.g. at
different levels of pruning).
- Abstract(参考訳): ニューラルネットワークは、ネットワークのアウトプットを劇的に変える小さな不可避な摂動によって、敵の攻撃に弱いことで悪名高い。
逆の方向には、ネットワークの決定を不変にする大きな意味のある摂動が存在するかもしれない(余分な不変性、非可逆性)。
我々は後者の現象を2つの文脈で研究する。
(a)離散時間力学系の識別、及び
(b)あるニューラルネットワークの出力を他のニューラルネットワークの出力(ニューラルネットワークマッチング)に校正すること。
reluネットワークと$l_p$ノルム(p=1,2,\infty$)については、これらの最適化問題を、動的システムの近似ニューラルネットワークに適用する混合整数プログラム(mips)として定式化する。
また、ニューラルネットワーク間の変換(例えば、異なるレベルのプルーニング)における可逆性認証の適用性についても論じる。
関連論文リスト
- Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳(メタデータ) (2024-02-16T02:11:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Specification-Driven Neural Network Reduction for Scalable Formal
Verification [8.751383865142772]
本稿では,ネットワークの検証が元のネットワークの検証を意味することを確実にする,保守的なニューラルネットワーク削減手法を提案する。
評価の結果,本手法はニューロン数の5%未満までネットワークを縮小し,検証時間を短縮できることがわかった。
論文 参考訳(メタデータ) (2023-05-03T07:13:47Z) - Vanilla feedforward neural networks as a discretization of dynamic
systems [6.4395686398659135]
本稿では,従来のネットワーク構造に戻り,バニラフィードフォワードネットワークが動的システムの数値的な離散化であることを示す。
我々の結果は、フィードフォワードニューラルネットワークの近似特性を理解するための新しい視点を提供することができる。
論文 参考訳(メタデータ) (2022-09-22T10:32:08Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳(メタデータ) (2022-07-04T15:41:02Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。
その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
論文 参考訳(メタデータ) (2021-05-20T23:19:43Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳(メタデータ) (2020-07-17T19:32:48Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳(メタデータ) (2020-04-06T08:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。