論文の概要: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- arxiv url: http://arxiv.org/abs/2301.11783v1
- Date: Fri, 27 Jan 2023 15:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 15:09:49.714449
- Title: Certified Invertibility in Neural Networks via Mixed-Integer Programming
- Title（参考訳）: 混合整数プログラミングによるニューラルネットワークの認証可逆性
- Authors: Tianqi Cui, Thomas Bertalan, George J. Pappas, Manfred Morari, Ioannis
G. Kevrekidis and Mahyar Fazlyab
- Abstract要約: 敵攻撃では、小さな知覚不能な摂動がネットワークの出力を大きく変える可能性がある。
逆方向では、ネットワークの決定を変更せずに、大きな意味のある摂動が存在する可能性がある。
後者の現象を, (a) 離散時間力学系同定と (b) ニューラルネットワークの出力を他の出力に校正する2つの文脈で研究する。
- 参考スコア（独自算出の注目度）: 16.64960701212292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are notoriously vulnerable to adversarial attacks -- small
imperceptible perturbations that can change the network's output drastically.
In the reverse direction, there may exist large, meaningful perturbations that
leave the network's decision unchanged (excessive invariance, nonivertibility).
We study the latter phenomenon in two contexts: (a) discrete-time dynamical
system identification, as well as (b) calibration of the output of one neural
network to the output of another (neural network matching). For ReLU networks
and $L_p$ norms ($p=1,2,\infty$), we formulate these optimization problems as
mixed-integer programs (MIPs) that apply to neural network approximators of
dynamical systems. We also discuss the applicability of our results to
invertibility certification in transformations between neural networks (e.g. at
different levels of pruning).
- Abstract（参考訳）: ニューラルネットワークは、ネットワークのアウトプットを劇的に変える小さな不可避な摂動によって、敵の攻撃に弱いことで悪名高い。
逆の方向には、ネットワークの決定を不変にする大きな意味のある摂動が存在するかもしれない(余分な不変性、非可逆性)。
我々は後者の現象を2つの文脈で研究する。
(a)離散時間力学系の識別、及び
(b)あるニューラルネットワークの出力を他のニューラルネットワークの出力(ニューラルネットワークマッチング)に校正すること。
reluネットワークと$l_p$ノルム(p=1,2,\infty$)については、これらの最適化問題を、動的システムの近似ニューラルネットワークに適用する混合整数プログラム(mips)として定式化する。
また、ニューラルネットワーク間の変換(例えば、異なるレベルのプルーニング)における可逆性認証の適用性についても論じる。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳（メタデータ） (2024-02-16T02:11:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Deep Neural Networks and PIDE discretizations [2.4063592468412276]
畳み込みニューラルネットワーク(CNN)の安定性と視野問題に対処するニューラルネットワークを提案する。
本稿では,大域重み付きラプラス作用素,分数ラプラス作用素,分数逆ラプラス作用素に関連する積分型空間非局所作用素を提案する。
自律運転における画像分類データセットとセマンティックセグメンテーションタスクのベンチマーク上で,提案したニューラルネットワークの有効性を検証した。
論文 参考訳（メタデータ） (2021-08-05T08:03:01Z) - A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。
その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
論文 参考訳（メタデータ） (2021-05-20T23:19:43Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳（メタデータ） (2020-07-17T19:32:48Z) - Verifying Recurrent Neural Networks using Invariant Inference [0.0]
本稿では,リカレントニューラルネットワーク(Recurrent Neural Network)と呼ばれる,ニューラルネットワークの多種多様な特性を検証するための新しいアプローチを提案する。
この手法は不変量の推論に基づいており、再帰的ネットワークを単純かつ非再帰的な問題に検証する際の複雑な問題を軽減できる。
論文 参考訳（メタデータ） (2020-04-06T08:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。