論文の概要: Lipschitz Continuity Retained Binary Neural Network

• arxiv url: http://arxiv.org/abs/2207.06540v1
• Date: Wed, 13 Jul 2022 22:55:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 13:09:51.531566
• Title: Lipschitz Continuity Retained Binary Neural Network
• Title（参考訳）: リプシッツ連続性保持二元ニューラルネットワーク
• Authors: Yuzhang Shang, Dan Xu, Bin Duan, Ziliang Zong, Liqiang Nie, Yan Yan
• Abstract要約: 我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
• 参考スコア（独自算出の注目度）: 52.17734681659175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relying on the premise that the performance of a binary neural network can be largely restored with eliminated quantization error between full-precision weight vectors and their corresponding binary vectors, existing works of network binarization frequently adopt the idea of model robustness to reach the aforementioned objective. However, robustness remains to be an ill-defined concept without solid theoretical support. In this work, we introduce the Lipschitz continuity, a well-defined functional property, as the rigorous criteria to define the model robustness for BNN. We then propose to retain the Lipschitz continuity as a regularization term to improve the model robustness. Particularly, while the popular Lipschitz-involved regularization methods often collapse in BNN due to its extreme sparsity, we design the Retention Matrices to approximate spectral norms of the targeted weight matrices, which can be deployed as the approximation for the Lipschitz constant of BNNs without the exact Lipschitz constant computation (NP-hard). Our experiments prove that our BNN-specific regularization method can effectively strengthen the robustness of BNN (testified on ImageNet-C), achieving state-of-the-art performance on CIFAR and ImageNet.
• Abstract（参考訳）: ニューラルネットワークの性能は、実精度重みベクトルとその対応する二進ベクトル間の量子化誤差を排除して大きく復元できるという前提に基づいて、既存のネットワーク双項化の研究は、上記の目的を達成するためにしばしばモデルロバストネスの概念を採用する。 しかし、ロバスト性は理論的な支持なしには定義できない概念である。 本稿では、BNNのモデルロバスト性を定義する厳密な基準として、よく定義された機能特性であるリプシッツ連続性を導入する。 次に,モデルロバスト性を改善するための正規化項としてリプシッツ連続性を保持することを提案する。 特に、リプシッツに係わる一般的な正規化法は、その極端な間隔のためにしばしばBNNで崩壊するが、リプシッツ定数の正確な計算(NP-hard)なしでBNNのリプシッツ定数の近似として展開できる対象の重み行列のスペクトルノルムを近似する保持行列を設計する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化し,CIFARとImageNetの最先端性能を実現することができることが示された。

関連論文リスト

• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)
• Training robust neural networks using Lipschitz bounds [0.0]
  ニューラルネットワーク(NN)は、安全クリティカルなアプリケーションではほとんど使われません。 逆の摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力写像のリプシッツ定数である。 我々は,Lipschitz を一定に小さく保ちながら,強靭性を促進しつつ,多層NN のトレーニングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。