論文の概要: Towards Evaluating and Training Verifiably Robust Neural Networks

• arxiv url: http://arxiv.org/abs/2104.00447v2
• Date: Mon, 5 Apr 2021 02:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 12:26:18.712970
• Title: Towards Evaluating and Training Verifiably Robust Neural Networks
• Title（参考訳）: ニューラルネットワークのロバスト性評価と学習に向けて
• Authors: Zhaoyang Lyu, Minghao Guo, Tong Wu, Guodong Xu, Kehuan Zhang, Dahua Lin
• Abstract要約: We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
• 参考スコア（独自算出の注目度）: 81.39994285743555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have shown that interval bound propagation (IBP) can be used to train verifiably robust neural networks. Reseachers observe an intriguing phenomenon on these IBP trained networks: CROWN, a bounding method based on tight linear relaxation, often gives very loose bounds on these networks. We also observe that most neurons become dead during the IBP training process, which could hurt the representation capability of the network. In this paper, we study the relationship between IBP and CROWN, and prove that CROWN is always tighter than IBP when choosing appropriate bounding lines. We further propose a relaxed version of CROWN, linear bound propagation (LBP), that can be used to verify large networks to obtain lower verified errors than IBP. We also design a new activation function, parameterized ramp function (ParamRamp), which has more diversity of neuron status than ReLU. We conduct extensive experiments on MNIST, CIFAR-10 and Tiny-ImageNet with ParamRamp activation and achieve state-of-the-art verified robustness. Code and the appendix are available at https://github.com/ZhaoyangLyu/VerifiablyRobustNN.
• Abstract（参考訳）: 近年の研究では、インターバルバウンド伝搬(IBP)が、信頼性の高いニューラルネットワークのトレーニングに利用できることが示されている。 タイトな線形緩和に基づくバウンディングメソッドであるcrownは、これらのネットワークに非常にゆるやかな境界を与えることが多い。 また、ほとんどのニューロンがIPBトレーニングプロセス中に死亡し、ネットワークの表現能力を損なう可能性があることも観察した。 本稿では, IBP と CROWN の関係について検討し, 適切な境界線を選択する場合, CROWN が IBP よりも常に密であることを示す。 我々はさらに,大規模ネットワークを検証し,ippよりも低い検証誤差を得るために使用できる,クラウン・リニア・バウンド・伝播(lbp)の緩和版を提案する。 また,新たな活性化関数parameterized ramp function(parameterized ramp function,paramramp)を設計した。 我々は、MNIST、CIFAR-10、Tiny-ImageNetのParamRampアクティベーションによる広範な実験を行い、最先端のロバスト性を実現する。 コードと付録はhttps://github.com/ZhaoyangLyu/VerifiablyRobustNNで入手できる。

関連論文リスト

• Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
  予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。 バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。 本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:20Z)
• Evolutionary algorithms as an alternative to backpropagation for supervised training of Biophysical Neural Networks and Neural ODEs [12.357635939839696]
  本稿では,生物物理学に基づくニューラルネットワークの学習における「段階的推定」進化アルゴリズムの利用について検討する。 EAにはいくつかのアドバンテージがあり、直接BPよりも望ましいことが分かりました。 以上の結果から,生体物理学ニューロンはBP法の限界をテストする上で有用なベンチマークを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-17T20:59:57Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Constrained Parameter Inference as a Principle for Learning [5.080518039966762]
  本稿では,制約パラメータ推論(COPI)を学習の新たな原則として提案する。 COPIは、神経状態の非相関な入力とトップダウン摂動の制約下でのネットワークパラメータの推定を可能にする。 我々はCOPIが生物学的に妥当であるだけでなく、誤りの標準的なバックプロパゲーションと比較して、高速学習の利点も示していることを示した。
  論文  参考訳（メタデータ） (2022-03-22T13:40:57Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。