論文の概要: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2301.11783v2
- Date: Wed, 17 May 2023 00:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-18 20:16:17.683520
- Title: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- Title（参考訳）: 混合整数プログラミングによるニューラルネットワークの認証可逆性
- Authors: Tianqi Cui, Thomas Bertalan, George J. Pappas, Manfred Morari, Ioannis
G. Kevrekidis and Mahyar Fazlyab
- Abstract要約: ニューラルネットワークは敵の攻撃に弱いことが知られている。
ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。
ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
- 参考スコア（独自算出の注目度）: 16.64960701212292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are known to be vulnerable to adversarial attacks, which are
small, imperceptible perturbations that can significantly alter the network's
output. Conversely, there may exist large, meaningful perturbations that do not
affect the network's decision (excessive invariance). In our research, we
investigate this latter phenomenon in two contexts: (a) discrete-time dynamical
system identification, and (b) the calibration of a neural network's output to
that of another network. We examine noninvertibility through the lens of
mathematical optimization, where the global solution measures the ``safety" of
the network predictions by their distance from the non-invertibility boundary.
We formulate mixed-integer programs (MIPs) for ReLU networks and $L_p$ norms
($p=1,2,\infty$) that apply to neural network approximators of dynamical
systems. We also discuss how our findings can be useful for invertibility
certification in transformations between neural networks, e.g. between
different levels of network pruning.
- Abstract（参考訳）: ニューラルネットワークは、ネットワークのアウトプットを著しく変えうる、小さく、知覚できない摂動である敵の攻撃に対して脆弱であることが知られている。
逆に、ネットワークの決定に影響を与えない大きな、意味のある摂動が存在する(過剰な不変性)。
本研究では,後者の現象を2つの文脈で検討する。
(a)離散時間力学系識別、及び
(b)ニューラルネットワークの出力を他のネットワークの出力に校正すること。
非可逆性境界からの距離によってネットワーク予測の ``safety' を大域解が測定する数理最適化のレンズを通して非可逆性を調べる。
ReLUネットワークの混合整数プログラム(MIP)と力学系のニューラルネットワーク近似に適用される$L_p$ノルム(p=1,2,\infty$)を定式化する。
また,ニューラルネットワーク間のトランスフォーメーション,例えばネットワークプルーニングの異なるレベル間の変換における可逆性証明に,この知見がどのように役立つかについても論じた。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳（メタデータ） (2024-02-16T02:11:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Deep Neural Networks and PIDE discretizations [2.4063592468412276]
畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。
本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。
自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
論文 参考訳（メタデータ） (2021-08-05T08:03:01Z) - A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。
その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
論文 参考訳（メタデータ） (2021-05-20T23:19:43Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳（メタデータ） (2020-07-17T19:32:48Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳（メタデータ） (2020-04-06T08:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。