論文の概要: Lipschitz Constant Meets Condition Number: Learning Robust and Compact Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.20454v1
• Date: Wed, 26 Mar 2025 11:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:32.448472
• Title: Lipschitz Constant Meets Condition Number: Learning Robust and Compact Deep Neural Networks
• Title（参考訳）: Lipschitz Constantが条件数に到達:ロバストでコンパクトなディープニューラルネットワークを学習
• Authors: Yangqi Feng, Shing-Ho J. Lin, Baoyuan Gao, Xian Wei,
• Abstract要約: ネットワークプルーニングの対向的トレーニングフレームワークへの統合は、対向的ロバスト性を促進するために提案されている。 高度に刈り取られた重み行列は不調である傾向にあり、すなわち重み行列の条件数を増やすことが観察されている。 本研究は,ネットワークの重み分布,すなわち条件数制約を伴う変換スパース制約を調整するための,新しいジョイント制約を開発する。
• 参考スコア（独自算出の注目度）: 7.034918055636962
• License:
• Abstract: Recent research has revealed that high compression of Deep Neural Networks (DNNs), e.g., massive pruning of the weight matrix of a DNN, leads to a severe drop in accuracy and susceptibility to adversarial attacks. Integration of network pruning into an adversarial training framework has been proposed to promote adversarial robustness. It has been observed that a highly pruned weight matrix tends to be ill-conditioned, i.e., increasing the condition number of the weight matrix. This phenomenon aggravates the vulnerability of a DNN to input noise. Although a highly pruned weight matrix is considered to be able to lower the upper bound of the local Lipschitz constant to tolerate large distortion, the ill-conditionedness of such a weight matrix results in a non-robust DNN model. To overcome this challenge, this work develops novel joint constraints to adjust the weight distribution of networks, namely, the Transformed Sparse Constraint joint with Condition Number Constraint (TSCNC), which copes with smoothing distribution and differentiable constraint functions to reduce condition number and thus avoid the ill-conditionedness of weight matrices. Furthermore, our theoretical analyses unveil the relevance between the condition number and the local Lipschitz constant of the weight matrix, namely, the sharply increasing condition number becomes the dominant factor that restricts the robustness of over-sparsified models. Extensive experiments are conducted on several public datasets, and the results show that the proposed constraints significantly improve the robustness of a DNN with high pruning rates.
• Abstract（参考訳）: 近年の研究では、ディープニューラルネットワーク(DNN)の高圧縮、例えば、DNNの重み行列の大量刈り取りは、精度が著しく低下し、敵の攻撃に対する感受性が低下することが明らかになっている。 ネットワークプルーニングの対向的トレーニングフレームワークへの統合は、対向的ロバスト性を促進するために提案されている。 高度に刈り取られた重み行列は不調である傾向にあり、すなわち重み行列の条件数を増やすことが観察されている。 この現象はDNNの雑音入力の脆弱性を増大させる。 高度に刈り取られた重み行列は、局所リプシッツ定数の上界を下げて大きな歪みを許容できると考えられているが、そのような重み行列の不条件性は、非破壊的なDNNモデルをもたらす。 この課題を克服するために、この研究は、ネットワークの重み分布、すなわち、スムーズな分布と異なる制約関数に対処し、条件数を減らすことで、重み行列の不調和を回避する、トランスフォーメートスパース制約と条件数制約(TSCNC)という、ネットワークの重み分布を調整するための新しい共同制約を開発する。 さらに,重み行列の条件数と局所リプシッツ定数の関係を理論的解析により明らかにした。 いくつかの公開データセットで大規模な実験を行い、提案した制約により、高いプルーニング率でDNNのロバスト性を大幅に向上することを示した。

関連論文リスト

• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
  低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。 その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
  論文  参考訳（メタデータ） (2023-06-02T12:22:35Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• CLIP: Cheap Lipschitz Training of Neural Networks [0.0]
  ニューラルネットワークのLipschitz定数を制御するためのCLIPという変分正規化手法を検討する。 提案モデルを数学的に解析し,特にネットワークの出力に対する選択正規化パラメータの影響について考察した。
  論文  参考訳（メタデータ） (2021-03-23T13:29:24Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Explicit regularization and implicit bias in deep network classifiers trained with the square loss [2.8935588665357077]
  平方損失で訓練された深いReLUネットワークは分類の仕事でよく機能するために観察されました。 正規化法を重み決定法とともに用いる場合,絶対最小ノルムの解への収束が期待できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T21:07:56Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。